• 最近访问:
发表于 2026-10-13 20:28:59 股吧网页版
从拍视频到读懂动作:具身智能的“数据翻译官”来了?
来源:南方都市报

  当大模型已经能流畅完成文字、图像创作,人形机器人却依旧很难熟练完成冲泡饮品、宠物洗护这类生活化精细任务。这里面的核心差距不在于AI的“脑子”,而在于机器人缺少足够多、足够准的现实世界“实操教科书”。

  主流的教科书做法是“示范—记录—训练”:先让真人演示操作,系统记录下整个过程的数据,再用这些数据训练机器人模型。

  为了获得这些数据,行业曾经依赖专业动捕实验室——在墙壁和天花板上布满摄像头,被测试者穿上动捕服在里面做事。这种方式精度高,但成本高、场景受限,采集的数据往往“太干净”,离真实世界有距离。

  近年来,一种更接地气的方式流行起来:第一视角(Ego)视频。佩戴者头戴摄像头,以自己的视角录制日常操作——泡奶茶、做美甲、给宠物洗澡。这种方式采集门槛低、场景丰富,很快成为具身模型预训练的重要数据来源。

  但问题随之而来:拍下视频,不等于获得了可用的训练数据。

  就像你拍了一段做菜视频,视频里能看到锅、能听到声音,但机器人需要知道的是:你的手在空间中具体移动了多少厘米、手指弯曲了多少度、先碰到了锅还是先碰到了铲子。

  要让机器人从这段视频里学会“怎么动手”,中间还差着一层“把画面翻译成动作数据”的工序。近期,觅蜂科技联合西北工业大学、西安交通大学发布了名为MEgoVista的第一视角运动重建技术框架,正是试图解决从日常视频提取高精度手部4D动作数据的行业难题。

  认清手、测准距、连成线

  要理解MEgoVista的价值,先得弄明白从日常视频提取数据的难点。

  简单来说,视频是二维的、平面的,而机器人干活需要的是三维空间中的动作轨迹——这就是业内常说的“4D数据”(三维空间+时间)。从视频里“抠”出4D数据,就是MEgoVista要解决的问题。

  由觅蜂科技联合西北工业大学、西安交通大学的研究团队提出的MEgoVista,核心思路可以概括为三步:先认出这是谁的手,再量出它在哪,最后把动作连成一条流畅的线。

  第一步,“认出这是谁的手”。

  在真实场景中,操作往往不是一个人完成的。以美甲为例,美甲师和顾客的手同时入镜,系统必须持续区分哪只手是佩戴者的、哪只是顾客的,不能跟错对象。MEgoVista在检测手部位置、区分左右手的同时,还会辨别哪些手属于佩戴者本人。

  第二步,“量出它在哪”。

  MEgoVista配合的头戴设备MEgoView配备了三个鱼眼摄像头,以每秒60帧的速度拍摄。中央摄像头分别与左右摄像头配对,形成两组“立体视觉”——就像人的两只眼睛看东西能判断距离一样。系统根据同一只手在不同视角下的位置差异,结合相机间距等参数,估算出手与摄像头之间的实际距离。

  第三步,“把动作连成线”。

  逐帧看,每只手部的姿势可能都没问题,但连起来可能出现位置突变、手指过度弯折等不自然现象。MEgoVista先筛选可靠的观测结果,再结合前后帧信息调整整段动作,使运动更连贯、更符合人体运动规律。

  与此同时,系统还要解决一个容易被忽视的问题:你转头的时候,画面在动,但手可能没动。摄像头跟着佩戴者的头一起转,系统必须区分“手在动”和“镜头在动”,这需要利用多摄像头画面还原头部运动轨迹,并结合惯性信息判断上下方向。

  将物理世界变成4D

  MEgoVista的论文发布,恰好踩在了一个正在升温的行业趋势上。

  过去两年,具身智能行业很大程度上沿用了大模型已经验证过的路径:大量采集视频数据,喂给模型训练。但越来越多的研究者意识到,二维视频丢失了大量空间和物理信息——模型更容易学到画面与动作之间的“表面相关性”,却未必真正理解物理世界运行的因果规律。

  “物理世界就是4D的。”这是业内越来越多人的共识。世界模型需要走出二维像素空间,把三维结构、时间变化和物理交互放进统一表征。

  行业观察人士表示,MEgoVista这类工作最大的价值,是证明了在非布设专业动捕设备的生活化场景下,第一视角方案也可以达到可交叉验证的精度。但技术突破不等于产业落地。能否真正把普通人的日常操作,批量变成具身AI可用的训练素材,还要看硬件量产、算力成本、大规模实地测试三道关卡。

  而从具体技术细节上看,还有一系列问题需要考虑。

  比如,MEgoVista目前采用的是一套离线重建流程——数据需要先采集完,再在后台进行处理。这意味着它可能暂时无法支持实时反馈场景,对于需要即时调整的在线训练任务来说还不够用。

  其次,测试场景虽然覆盖了制作奶茶、美甲、给宠物洗澡等日常操作,但距离覆盖工厂装配、户外作业等更复杂的工业场景还有差距。不同场景对数据精度、采样频率、遮挡处理的要求各不相同,一套算法“通吃”所有场景并不容易。

  此外,头戴设备的佩戴舒适度、采集操作的便捷性、数据处理算力成本等工程化问题,也都需要在实际部署中逐一打磨。

  觅蜂科技方面表示,公司正持续推进MEgo系列设备量产,以及数据采集、治理和评测能力建设。MEgoVista的研究成果,为这一布局提供了新的技术支撑。

  对于产业市场来说,算法论文只是技术起点,量产头戴硬件成本可以做到什么区间?离线重建的运算开销有多高?大规模采集真实场景数据时,精度会不会出现明显衰减?还有一系列后续问题在期待企业的回答。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500