• 最近访问:
发表于 2025-11-06 12:49:30 股吧网页版
“存力中国行”探讨AI推理挑战 华为开源UCM技术为破局关键
来源:新京报

  中国信息通信研究院组织召开的“存力中国行”北京站活动于11月4日举行,吸引了来自中国移动、华为、硅基流动等近20家产业代表齐聚一堂。随着AI产业发展重心从“追求模型能力极限”转向“追求推理体验最优化”,先进存力如何为AI推理“降本增效”,成为全场关注焦点。

  “当前,AI推理面临KVCache存储需求升级、多模态数据协同、存算协同带宽不足、负载潮汐性及成本控制等挑战。”中国移动云能力中心项目总师周宇在座谈会上直言。华为数据存储产品线战略与业务发展部总裁王旭东则用三个“不”点明了行业痛点:“管不好”的数据、“喂不饱”的算力和“降不下”的成本。

  在此背景下,华为开源的UCM(UnifiedCacheManager)推理记忆数据管理技术被视为破局的关键方案之一。该技术以KVCache多级缓存和推理记忆管理为中心,通过推理框架、算力、存储的三层协同,融合了多类型缓存加速算法工具,可分级管理在推理过程中产生的KVCache记忆数据,有效破解长序列推理效率与成本瓶颈。

  据悉,UCM技术已于近日在魔擎社区开源,开源内容包含稀疏注意力、前缀缓存、预填充卸载、异构PD解耦四大关键能力,可使首轮Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展,显著提升AI推理性能。同时,其基础框架与工具链已在ModelEngine社区开放,开发者可通过社区获取源代码与技术文档,共同完善技术架构与产业生态。

  业界普遍认为,UCM开源超越了单纯的技术共享,能让广大开发者和企业以更低的成本、更便捷的方式,获取业界领先的AI推理加速能力,推动AI推理技术走向规模化、普惠化落地。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500