• 最近访问:
发表于 2025-02-24 14:50:19 股吧网页版
AI 推理速度再进化!DeepSeek公布首个开源代码库 FlashMLA
来源:广州日报 作者:张露

  上周五,DeepSeek 宣布,从本周开始将陆续开源五个代码库。今天上午,DeepSeek 如期履行承诺,开源了一款用于 Hopper GPU 的高效型 MLA 解码核:FlashMLA,目前已投入生产。

  MLA (Multi-Layer Attention,多层注意力机制)是一种改进的注意力机制,旨在提高Transformer模型在处理长序列时的效率和性能。其中,FlashMLA是DeepSeek针对Hopper GPU优化的高效MLA解码内核,专为处理可变长度序列而设计,可增强性能高、优化资源使用并减少延迟。

  与传统解码器相比,Flash MLA在处理可变长度序列时,能够显著提高计算效率和速度。通俗来说,FlashMLA 是一个能让大语言模型在 H800这样的GPU上跑得更快、更高效的优化方案,尤其适用于高性能AI任务。这一代码能够加速大语言模型的解码过程,从而提高模型的响应速度和吞吐量,这对于实时生成任务(如聊天机器人、文本生成等)很重要。

  DeepSeek表示,其在H800上能实现3000 GB/s的内存带宽&580 TFLOPS的计算性能。

  无疑,此次开源Flash MLA代码库,旨在激发更多开发者的创造力,开发者可以在此基础上进行改进和创新,共同推动AI技术的进步。

  截至记者发稿,Star 数量正不断上升,并持续迎来好评。

  作为开源社区的一部分,自称小团队的DeepSeek相信每一行共享的代码都会成为集体动力,并称“这个领域没有高高在上的象牙塔,只有纯粹的车库创业精神与社区共筑的创新力量”。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500