上证报中国证券网讯(记者杨翔菲温婷)记者11月28日获悉,日前,人工智能领域顶级会议NeurIPS 2025公布了论文奖。阿里通义千问团队最新研究成果从全球2万多篇投稿论文中脱颖而出,被评为最佳论文,是唯一获得该奖项的中国团队。
该论文首次揭秘了注意力门控机制对大模型性能和训练的影响。业内人士普遍认为,该研究是突破当下大模型训练瓶颈的重要一步,将有力推动AI大模型技术的发展。
NeurIPS是人工智能领域影响力最大的顶会之一,该会议诞生了Transformer、AlexNet等里程碑式研究成果。今年,谷歌、微软、OpenAI、阿里巴巴及麻省理工学院等全球顶尖科技公司和机构共有2万多篇论文投稿,仅有约25%的论文被接收,而最佳论文仅有4篇,代表了目前全球人工智能领域最有价值和影响力研究。
门控机制被认为是模型的“智能阀门”,可以帮助模型过滤无效信息并提升模型性能。近年来,AlphaFold2、Forgetting Transformer等学术界和工业界模型开始尝试将门控和注意力机制结合,但业界尚未破解门控在注意力中发挥作用的内在原因,也缺少大规模实践的经验。
此次,通义千问研究团队通过在1.7B稠密模型(Dense)与15B混合专家模型(MoE)上进行了数十组实验,单组实验训练最多超过3.5万亿tokens,首次清晰揭秘了门控注意力背后的作用原理,并全面展示使用该方案的最佳方式。目前,该研究成果已应用于Qwen3-Next模型,并显著提升模型的性能与鲁棒性,相关技术方案、实验模型及产品级模型均已开源。NeurIPS评审委员会指出:“这项工作将被广泛应用,并极大推动AI研究人员对大语言模型中注意力机制的理解。”
通义千问团队表示:“对于门控注意力机制的深入理解,不仅为大语言模型架构设计提供了新思路,也为构建更稳定、更高效、更可控的大模型奠定了基础。”