“想象一下，如果你有一个神奇的魔法棒，点一下就能让GPT-6（OpenAI旗下的最新大模型）直接跑在手机上，那为什么它们不做这件事呢？”11月5日，在面壁智能技术分享会上，面壁智能多模态大模型实验室算法研究员蔡天驰用这样一个反问句直白地指出了做端侧智能的必要性。
不同于大众更为熟知的通用大模型，端侧模型是指部署在手机、电脑、汽车等终端设备上运行的AI模型，它在设备本地处理任务，而不必每次都把数据发到云端服务器。这考验的是，模型必须在手机等设备有限的算力、内存和存储空间里运行，还要做到响应够快、功耗更低。
最近半年里，面壁智能先后发布了MiniCPM-V4.6、V4.7端侧多模态大模型及其不同版本，目前第一次实现了35B（指参数量为350亿）、MoE（混合专家架构）模型上手机。本次会议上，面壁智能首席科学家姚远携其团队接受了包括《中国经营报》在内的媒体记者的采访，针对端侧智能的发展现状、技术趋势给出了面壁智能的判断与观察。
对端侧智能的趋势判断
姚远指出，智能的发展可以类比“计算”：最早电脑能够提供的计算能力非常弱，只能依赖大型机；后来计算能力逐步进入个人电脑（PC）和手机，计算能力持续提升，发展至今，几十亿台PC和手机以及200多亿接入互联网的物联网设备，绝大多数用户在大多数时间里并不需要租用云端服务器，就能完成自己的各类任务。由此，计算设备实现了小型化、高效化和普惠化。
在姚远看来，端侧智能很可能会走与计算相似的路，即模型能力逐渐走出云端，来到用户手边的终端设备。“参照个人计算的路径，个人智能的发展进程，关键在于供给。”
那么，现在端侧智能发展到什么阶段了？用户究竟能够获得什么样的个人智能？
针对这一问题，姚远向本报记者回应道，从用户视角来看，最直接能够体验到的是“很多特别难的、之前想象不到的能在手机上跑的问题，现在能跑了，也就是智能水平的提升”；另一个感受则是推理速度提高，以及功耗、内存限制等会肉眼可见地改善。“关于未来，我们希望有一个足够强的模型，以足够低的功耗，在我们身边实时地运行。”姚远表示，“比如我们最近在做的全模态模型，它会像人一样能够实时与用户交互，尽管它当下的计算开销是非常大的，但未来或许就可以在手机上跑，用户所有的数据都不出户，交互的上下文全都掌握。这对于用户来说将是一个足够有吸引力的状态。”
现场，姚远将端侧智能的发展阶段定义为“撞线前夜”。他从技术供给与场景需求两条相对独立、客观发展的线来解释，一方面技术供给推动计算密度持续提升，另一方面个人办公等需求有相应的计算密度门槛。“在达到这条线之前，个人智能就处于‘大型机’时代，当供给的计算密度撞线，就会进入‘PC’时代，而进一步撞线，就会进入‘移动智能’时代。”
当记者进一步问及当下令消费者眼花缭乱又难以分辨的“AI手机”“AI原生手机”或“智能体手机”时，姚远认为：“AI原生手机肯定是希望很多任务能够直接帮用户完成，但基于现在的手机生态，面临的阻碍一方面是模型智能，另一方面是不同手机厂商的权限许可及管理体系。”不过，在姚远看来，现在无论是产业界，还是消费者，“对于AI原生手机普遍缺乏足够的想象力，只能把一些显而易见的事情让AI局部解决一下，节省一点时间而已。”
模型迭代升级的方向
面壁智能技术团队在现场向记者演示了MiniCPM-V4.7 35B-A3B模型在一台iPhone 18 Pro Max手机上的运行。姚远介绍，模型发布时的输出速度约为每秒20个Token（词元），近期优化后，演示版本已超过每秒30个Token，内存占用约3GB。
为什么要关注输出速度？姚远解释，低于每秒8个Token时，用户会觉得有些卡；当达到每秒15个左右时，用户与模型的交互对话就会比较流畅；由此再快，回答速度就会超过用户的阅读速度。因此，端侧模型的目标不只是能在手机上跑，还要在有限的物理资源下达到日常使用可接受的速度。
速度提升的背后，是对手机存储、内存和模型结构等方面的算法协同优化。蔡天驰介绍，模型参数规模达35B，每次生成内容时实际只调用部分专家，团队通过提前预测下一步可能调用的专家，并在当前计算过程中从闪存预读权重，减少等待；同时调整权重存放方式、压缩部分数据，并改进解码流程。
姚远表示，优化希望在不明显影响模型输出质量的前提下提升速度，也要控制内存占用，给手机上的其他应用留出空间。与此同时，端侧模型的发展不只看高端手机跑得多快，姚远指出，随着芯片和推理技术的进步，流畅运行的能力有望逐步下沉到更多机型。事实上，面壁智能今年5月发布的MiniCPM-V4.6模型已经应用到了千元级安卓手机上。
对于端侧智能接下来的发展，姚远表示，端侧智能最大的技术含量本质上就一点，即“在端侧上提供最强的智能”。在他看来，端侧模型的竞争不是比拼参数规模，更重要的是在终端有限的资源下，把智能能力真正交到用户手中。
