当大模型已经能流畅完成文字、图像创作,人形机器人却依旧很难熟练完成冲泡饮品、宠物洗护这类生活化精细任务。这里面的核心差距不在于AI的“脑子”,而在于机器人缺少足够多、足够准的现实世界“实操教科书”。
主流的教科书做法是“示范—记录—训练”:先让真人演示操作,系统记录下整个过程的数据,再用这些数据训练机器人模型。
为了获得这些数据,行业曾经依赖专业动捕实验室——在墙壁和天花板上布满摄像头,被测试者穿上动捕服在里面做事。这种方式精度高,但成本高、场景受限,采集的数据往往“太干净”,离真实世界有距离。
近年来,一种更接地气的方式流行起来:第一视角(Ego)视频。佩戴者头戴摄像头,以自己的视角录制日常操作——泡奶茶、做美甲、给宠物洗澡。这种方式采集门槛低、场景丰富,很快成为具身模型预训练的重要数据来源。
但问题随之而来:拍下视频,不等于获得了可用的训练数据。
就像你拍了一段做菜视频,视频里能看到锅、能听到声音,但机器人需要知道的是:你的手在空间中具体移动了多少厘米、手指弯曲了多少度、先碰到了锅还是先碰到了铲子。
要让机器人从这段视频里学会“怎么动手”,中间还差着一层“把画面翻译成动作数据”的工序。近期,觅蜂科技联合西北工业大学、西安交通大学发布了名为MEgoVista的第一视角运动重建技术框架,正是试图解决从日常视频提取高精度手部4D动作数据的行业难题。
认清手、测准距、连成线
要理解MEgoVista的价值,先得弄明白从日常视频提取数据的难点。
简单来说,视频是二维的、平面的,而机器人干活需要的是三维空间中的动作轨迹——这就是业内常说的“4D数据”(三维空间+时间)。从视频里“抠”出4D数据,就是MEgoVista要解决的问题。
由觅蜂科技联合西北工业大学、西安交通大学的研究团队提出的MEgoVista,核心思路可以概括为三步:先认出这是谁的手,再量出它在哪,最后把动作连成一条流畅的线。
第一步,“认出这是谁的手”。
在真实场景中,操作往往不是一个人完成的。以美甲为例,美甲师和顾客的手同时入镜,系统必须持续区分哪只手是佩戴者的、哪只是顾客的,不能跟错对象。MEgoVista在检测手部位置、区分左右手的同时,还会辨别哪些手属于佩戴者本人。
第二步,“量出它在哪”。
MEgoVista配合的头戴设备MEgoView配备了三个鱼眼摄像头,以每秒60帧的速度拍摄。中央摄像头分别与左右摄像头配对,形成两组“立体视觉”——就像人的两只眼睛看东西能判断距离一样。系统根据同一只手在不同视角下的位置差异,结合相机间距等参数,估算出手与摄像头之间的实际距离。
第三步,“把动作连成线”。
逐帧看,每只手部的姿势可能都没问题,但连起来可能出现位置突变、手指过度弯折等不自然现象。MEgoVista先筛选可靠的观测结果,再结合前后帧信息调整整段动作,使运动更连贯、更符合人体运动规律。
与此同时,系统还要解决一个容易被忽视的问题:你转头的时候,画面在动,但手可能没动。摄像头跟着佩戴者的头一起转,系统必须区分“手在动”和“镜头在动”,这需要利用多摄像头画面还原头部运动轨迹,并结合惯性信息判断上下方向。
将物理世界变成4D
MEgoVista的论文发布,恰好踩在了一个正在升温的行业趋势上。
过去两年,具身智能行业很大程度上沿用了大模型已经验证过的路径:大量采集视频数据,喂给模型训练。但越来越多的研究者意识到,二维视频丢失了大量空间和物理信息——模型更容易学到画面与动作之间的“表面相关性”,却未必真正理解物理世界运行的因果规律。
“物理世界就是4D的。”这是业内越来越多人的共识。世界模型需要走出二维像素空间,把三维结构、时间变化和物理交互放进统一表征。
行业观察人士表示,MEgoVista这类工作最大的价值,是证明了在非布设专业动捕设备的生活化场景下,第一视角方案也可以达到可交叉验证的精度。但技术突破不等于产业落地。能否真正把普通人的日常操作,批量变成具身AI可用的训练素材,还要看硬件量产、算力成本、大规模实地测试三道关卡。
而从具体技术细节上看,还有一系列问题需要考虑。
比如,MEgoVista目前采用的是一套离线重建流程——数据需要先采集完,再在后台进行处理。这意味着它可能暂时无法支持实时反馈场景,对于需要即时调整的在线训练任务来说还不够用。
其次,测试场景虽然覆盖了制作奶茶、美甲、给宠物洗澡等日常操作,但距离覆盖工厂装配、户外作业等更复杂的工业场景还有差距。不同场景对数据精度、采样频率、遮挡处理的要求各不相同,一套算法“通吃”所有场景并不容易。
此外,头戴设备的佩戴舒适度、采集操作的便捷性、数据处理算力成本等工程化问题,也都需要在实际部署中逐一打磨。
觅蜂科技方面表示,公司正持续推进MEgo系列设备量产,以及数据采集、治理和评测能力建设。MEgoVista的研究成果,为这一布局提供了新的技术支撑。
对于产业市场来说,算法论文只是技术起点,量产头戴硬件成本可以做到什么区间?离线重建的运算开销有多高?大规模采集真实场景数据时,精度会不会出现明显衰减?还有一系列后续问题在期待企业的回答。