蚂蚁发布万亿参数旗舰模型Ling-1T并开源
来源:上海证券报·中国证券网
上证报中国证券网讯(记者温婷)10月9日凌晨,蚂蚁集团发布万亿参数的通用语言模型Ling-1T。Ling-1T是蚂蚁百灵大模型Ling 2.0系列的第一款旗舰模型,也是蚂蚁百灵团队迄今为止推出的规模最大、能力最强的非思考大模型。除了Ling-1T这款非思考模型,蚂蚁百灵团队还在训练万亿参数级的深度思考大模型Ring-1T,已在9月30日开源了预览版本。
据蚂蚁百灵团队透露,Ling-1T沿用Ling 2.0架构,在20T+ tokens高质量、高推理浓度的语料上完成预训练,支持最高128K上下文窗口,通过“中训练+后训练”的演进式思维链(Evo-CoT)极大提升模型高效思考和精准推理能力。
Ling-1T全程采用FP8混合精度训练(部分技术已开源),是目前已知规模最大的使用FP8训练的基座模型。这一设计为训练带来了显著的显存节省、更灵活的并行切分策略和超过15%的端到端加速。
目前,开发者通过Hugging Face和蚂蚁百宝箱等平台都可以体验Ling-1T模型。
测评显示,在有限输出Token条件下,Ling-1T于多项复杂推理基准中取得SOTA表现,展示出在高效思考与精确推理之间的卓越平衡。另外,在代码生成、软件开发、竞赛数学、专业数学、逻辑推理等多项高难度基准测试上,Ling-1T均取得领先成绩,多项指标位居开源模型的榜首。
郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
评论该主题
帖子不见了!怎么办?作者:您目前是匿名发表 登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》