科大讯飞与华为昇腾联合团队实现大规模专家并行集群推理性能翻番
来源:上海证券报·中国证券网
上证报中国证券网讯据科大讯飞4月18日消息,科大讯飞与华为昇腾联合团队通过多种优化手段提升“飞星一号”平台上MoE模型集群推理的性能上限,并在近期实现大规模专家并行集群推理性能翻番。
今年3月,科大讯飞携手华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型(混合专家模型)的大规模跨节点专家并行集群推理。
在上一个版本算子和通信优化的基础上,联合团队升级了适配MoE模型的PD分离+大规模专家并行系统解决方案,进行了以下技术创新工作:适配MoE的PD分离部署,通过定制集合通信协议,消除集合通信流量冲突,性能提升20%以上;实现国产算力上MTP多token预测技术,降低MTP层计算耗时,整体性能提升30%以上;专家负载均衡算法再升级,实现卡间负载均衡差异小于8%,集群推理吞吐性能提升30%以上;创新性实现异步双发射技术,解决高并发下的高CPU负载问题,降低服务请求调度耗时,系统性能提升10%。
基于上述解决方案的迭代与升级,通过在“飞星一号”平台上对星火MoE模型、DeepSeekV3/R1进行实测,实现了推理性能比上一个版本提升1倍,已逼近国产算力上MoE集群推理的性能上限,也大大加速了讯飞星火大模型的训练。
针对以上技术创新,科大讯飞将于近期对相关技术实现进行深入解读。此外,深度推理大模型讯飞星火X1也即将全新升级。(刘一枫)
郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
评论该主题
帖子不见了!怎么办?作者:您目前是匿名发表 登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》