在华为开发者大会上，华为云计算 CEO张平安宣布基于CloudMatrix384超节点的新一代昇腾AI云服务全面上线。据悉，华为云新一代昇腾AI云服务基于CloudMatrix384超节点，将384颗昇腾NPU和192颗鲲鹏CPU通过高速网络MatrixLink全对等互联，形成一台超级“AI服务器”，单卡推理吞吐量跃升到2300 Tokens/s。对于万亿、十万亿参数的大模型训练任务，在云数据中心，还能将432个超节点级联成最高16万卡的超大集群；同时，超节点还可以支持训推算力一体部署。