据介绍,华为Flex:ai是基于Kubernetes容器编排平台构建的XPU池化与调度软件,通过对GPU、NPU等智能算力资源的精细化管理与智能调度,实现AI工作负载与算力资源的“精准匹配”,大幅提升算力资源利用率。
目前,行业内算力资源的平均利用率仅为30%至40%,据华为介绍,Flex:ai通过算力切分技术,将单张GPU/NPU算力卡切分为多份虚拟算力单元,切分粒度精准至10%。此技术实现了单卡同时承载多个AI工作负载,在无法充分利用整卡算力的AI工作负载场景下,算力资源平均利用率可提升30%。
据介绍,与英伟达今年年初收购的Run:ai公司的核心产品相比,华为Flex:ai在虚拟化、智能调度等方面具备独特优势。
具体来看,在本地虚拟化技术中,Flex:ai支持把单个物理GPU/NPU算力卡切割为数个虚拟算力单元,并通过弹性灵活的资源隔离技术,可实现算力单元的按需切分。
同时,Flex:ai独有的“拉远虚拟化”技术,可以在不做复杂的分布式任务设置情况下,将集群内各节点的空闲XPU算力聚合形成“共享算力池”,此时不具备智能计算能力的通用服务器通过高速网络,可将AI工作负载转发到远端“资源池”中的GPU/NPU算力卡中执行,实现通用算力与智能算力资源融合。
在智能调度方面,Flex:ai的智能资源和任务调度技术,可自动感知集群负载与资源状态,结合AI工作负载的优先级、算力需求等多维参数,对本地及远端的虚拟化GPU、NPU资源进行全局最优调度,满足不同AI工作负载对资源的需求。比如,高优先级AI工作负载可以获得更高性能算力资源支持,在出现算力资源已被全部占满的情况下,能直接抢占其他任务资源,确保最重要的任务能够完成。而优先级较低的AI工作负载,则可以在算力闲时如夜间执行,实现分时调度;针对增量训练场景,Flex:ai还可智能感知集群中增量数据的变化,达到一定阈值后,触发数据飞轮。
华为公司副总裁、数据存储产品线总裁周跃峰表示,Flex:ai将在发布后同步开源在魔擎社区中。作为使能AI行业化落地的重要工具之一,Flex:ai将与华为此前开源的Nexent智能体框架、AppEngine应用编排、DataMate数据工程、UCM推理记忆数据管理器等AI工具共同组成完整的ModelEngine开源生态。