AI 推理速度再进化!DeepSeek公布首个开源代码库 FlashMLA
来源:广州日报
上周五,DeepSeek 宣布,从本周开始将陆续开源五个代码库。今天上午,DeepSeek 如期履行承诺,开源了一款用于 Hopper GPU 的高效型 MLA 解码核:FlashMLA,目前已投入生产。

MLA (Multi-Layer Attention,多层注意力机制)是一种改进的注意力机制,旨在提高Transformer模型在处理长序列时的效率和性能。其中,FlashMLA是DeepSeek针对Hopper GPU优化的高效MLA解码内核,专为处理可变长度序列而设计,可增强性能高、优化资源使用并减少延迟。
与传统解码器相比,Flash MLA在处理可变长度序列时,能够显著提高计算效率和速度。通俗来说,FlashMLA 是一个能让大语言模型在 H800这样的GPU上跑得更快、更高效的优化方案,尤其适用于高性能AI任务。这一代码能够加速大语言模型的解码过程,从而提高模型的响应速度和吞吐量,这对于实时生成任务(如聊天机器人、文本生成等)很重要。
DeepSeek表示,其在H800上能实现3000 GB/s的内存带宽&580 TFLOPS的计算性能。
无疑,此次开源Flash MLA代码库,旨在激发更多开发者的创造力,开发者可以在此基础上进行改进和创新,共同推动AI技术的进步。
截至记者发稿,Star 数量正不断上升,并持续迎来好评。

作为开源社区的一部分,自称小团队的DeepSeek相信每一行共享的代码都会成为集体动力,并称“这个领域没有高高在上的象牙塔,只有纯粹的车库创业精神与社区共筑的创新力量”。
郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
评论该主题
帖子不见了!怎么办?作者:您目前是匿名发表 登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》