“AI时代，模型训练、推理效率与体验的量纲都以Token数为表征，Token经济已经到来。”8月12日，华为公司副总裁、数据存储产品线总裁周跃峰在2025金融AI推理应用落地与发展论坛上表示。
为找到推理效率与成本之间的最佳平衡点，华为在论坛上发布一款AI黑科技——UCM（推理记忆数据管理器），以实现更快的推理响应、更长的推理序列和更低的推理成本。
上证报记者柴刘斌摄
值得一提的是，华为计划于今年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything（共享架构）存储厂商和生态伙伴。
UCM作答效率与成本的平衡题
当前，人工智能已步入发展深水区，AI推理正进入下一个爆发式增长的关键阶段，推理体验和推理成本成了衡量模型价值的黄金标尺。
“AI时代，模型训练、推理效率与体验的量纲都以Token数为表征，Token经济已经到来。”周跃峰表示，为保障流畅的推理体验，企业需持续加大算力投入，但如何在推理效率与成本之间找到最佳平衡点，成了全行业亟待解决的重要课题。
上证报记者柴刘斌摄
为此，华为推出UCM，包括对接不同引擎与算力的推理引擎插件（Connector）、支持多级KV Cache管理及加速算法的功能库（Accelerator）、高性能KV Cache存取适配器（Adapter）三大组件，通过推理框架、算力、存储三层协同，实现AI推理“更优体验、更低成本”。
据华为提供的数据，目前，国外主要大模型（OpenAI O3-mini、Google Gemini等）服务的单用户输出速度已进入200 tokens/s区间（时延5ms），中国普遍小于60 tokens/s（时延50—100ms）。OpenAI O3 mini的每秒能输出的Token数约为国内某开源大模型的10倍，用户直接感受则是OpenAI给出回答比国内大模型要快很多。
UCM致力于推理体验层面的提升。依托UCM层级化自适应的全局前缀缓存技术，系统能直接调用KV缓存数据，避免重复计算，使首Token时延最大降低90%。同时，UCM将超长序列Cache分层卸载至外置专业存储，通过算法创新突破模型和资源限制，实现推理上下文窗口10倍级扩展，满足长文本处理需求。
从推理成本来看，UCM具备智能分级缓存能力，可根据记忆热度在HBM、DRAM、SSD等存储介质中实现按需流动；同时融合多种稀疏注意力算法，实现存算深度协同，使长序列场景下TPS（每秒处理Token数）提升2—22倍，显著降低每Token推理成本，为企业减负增效。
对于UCM的发展目标，华为表示，希望UCM能够在算力基础设施投入保持不变的前提下，显著优化推理体验，推动AI推理进入“体验提升-用户增长-投资加大-技术迭代”的商业正循环。
金融行业率先进行“数据掘金”
目前，华为携手中国银联率先在金融典型场景开展UCM技术试点应用，并联合发布智慧金融AI推理加速方案应用成果。
为什么率先在金融行业应用落地？华为数据存储产品线AI存储首席架构师李国杰对记者表示，金融行业在IT信息化和技术赋能建设中一直走在前列，在投资和场景需求上具备优势，能够从大量数据中挖掘机会，即“数据掘金”。
上证报记者柴刘斌摄
据介绍，在与中国银联的联合创新技术试点中，UCM的技术价值得到了充分验证。在中国银联“客户之声”业务场景下，借助UCM技术及工程化手段，大模型推理速度提升125倍，仅需10秒即可精准识别客户高频问题，促进服务质量提升。
未来，中国银联将依托国家人工智能应用中试基地，联合华为等生态伙伴共建“AI+金融”示范应用，推动技术成果从“实验室验证”走向“规模化应用”。
上证报记者柴刘斌摄
值得一提的是，华为还正式公布了UCM开源计划。UCM通过开放统一的南北向接口，可适配多类型推理引擎框架、算力及存储系统。今年9月，UCM将正式开源，后续逐步贡献给业界主流推理引擎社区，携手全产业共同推动AI推理生态的繁荣发展。
