11月21日下午，华为在上海举办“2025 AI容器应用落地与发展论坛”，会上正式发布并开源了创新AI容器技术Flex:ai。

　　目前，行业内算力资源的平均利用率仅为30%至40%，据华为介绍，Flex:ai通过算力切分技术，将单张GPU（图形处理器）/NPU（神经网络处理器）算力卡切分为多份虚拟算力单元，切分粒度精准至10%。此技术实现了单卡同时承载多个AI工作负载，在无法充分利用整卡算力的AI工作负载场景下，算力资源平均利用率可提升30%。

　　与英伟达旗下Run:ai只能绑定英伟达算力卡不同，华为AI容器技术Flex:ai通过软件创新，可实现对英伟达、昇腾及其他第三方算力资源的统一管理和高效利用，有效屏蔽不同算力硬件之间的差异，为AI训练推理提供更高效的资源支持。

　　大幅提升算力资源利用率

　　据介绍，华为Flex:ai是基于Kubernetes容器编排平台构建的XPU池化与调度软件，通过对GPU、NPU等智能算力资源的精细化管理与智能调度，实现AI工作负载与算力资源的“精准匹配”，大幅提升算力资源利用率。

　　据了解，容器技术作为一种轻量级虚拟化技术，可以将模型代码、运行环境等打包成一个独立的、轻量级的镜像，实现跨平台无缝迁移，解决模型部署“环境配置不一致”的痛点。容器还可以按需挂载GPU、NPU算力资源，按需分配和回收“资源”，提升集群整体资源利用率。

　　AI时代需要AI容器

　　根据Gartner的报告，目前AI负载大多都已容器化部署和运行，据预测，到2027年，75%以上的AI工作负载将采用容器技术进行部署和运行。

　　谈及为什么推出Flex:ai AI容器技术，华为公司副总裁、数据存储产品线总裁周跃峰表示，传统容器技术已无法完全满足AI工作负载需求，AI时代需要AI容器。

　　具体而言，周跃峰表示，首先，大型语言模型(LLM)的容器镜像轻松突破10GB，多模态模型镜像甚至可达TB级别，传统容器无法支持超大镜像的快速拉起，环境构建时间往往长达数小时。

　　其次，传统容器主要针对CPU（中央处理器）、内存等通用计算资源进行管理与调度，而AI大模型训练与推理还需大幅依赖GPU、NPU等智能算力资源，传统容器无法对异构智算资源做到算力细粒度切分与智能调度，导致即使很小的AI工作负载也独占整张算力卡，且无法进行远程调用。

　　最后，传统容器的资源调度以固定分配、通用调度为主，而AI工作负载的资源调度需要以保障任务完成效率为目标，对不同任务的特性进行感知，实现动态弹性的资源分配。

　　据介绍，与英伟达今年年初收购的Run:ai公司的核心产品相比，华为Flex:ai在虚拟化、智能调度等方面具备独特优势。

　　具体来看，在本地虚拟化技术中，Flex:ai支持把单个物理GPU/NPU算力卡切割为数个虚拟算力单元，并通过弹性灵活的资源隔离技术，可实现算力单元的按需切分。

　　同时，Flex:ai独有的“拉远虚拟化”技术，可以在不做复杂的分布式任务设置情况下，将集群内各节点的空闲XPU算力聚合形成“共享算力池”，此时不具备智能计算能力的通用服务器通过高速网络，可将AI工作负载转发到远端“资源池”中的GPU/NPU算力卡中执行，实现通用算力与智能算力资源融合。

　　在智能调度方面，Flex:ai的智能资源和任务调度技术，可自动感知集群负载与资源状态，结合AI工作负载的优先级、算力需求等多维参数，对本地及远端的虚拟化GPU、NPU资源进行全局最优调度，满足不同AI工作负载对资源的需求。

　　加速AI行业化落地

　　周跃峰表示，Flex:ai将在发布后同步开源在魔擎社区中。Flex:ai将与华为此前开源的Nexent智能体框架、AppEngine应用编排、DataMate数据工程、UCM推理记忆数据管理器等AI工具共同组成完整的ModelEngine开源生态，加速赋能AI行业化落地。

　　周跃峰表示，不同行业、不同场景的AI工作负载差异较大，通过开源，Flex:ai可提供提升算力资源利用率的基础能力和部分优秀实践，与业界一道结合行业场景完成落地探索。

　　此外，华为还希望通过开源推动形成以AI容器技术为载体的资源高效利用新范式。周跃峰说，开源的Flex:ai可以在产学研各界开发者的参与下，共同推动异构算力虚拟化与AI应用平台对接的标准构建，形成算力高效利用的标准化解决方案。

　　东财图解·加点干货