11月10日,上海蚂蚁灵波科技有限公司(以下简称“蚂蚁灵波”)开源触觉基础模型LingBot-Touch。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理,可将不同信号转化为同一套触觉表征,供不同灵巧手和动作模型使用,让机器人在“看得清楚、想得明白”的同时,进一步补齐精细操作所需的触觉感知能力。
此前,蚂蚁灵波通用大脑已覆盖高精度空间感知、高动态环境交互和可泛化灵巧操作,让机器人看得更清楚、想得更明白、干得更利索。此次,LingBot-Touch已接入LingBot-VLA,将感知能力延伸到“指尖”,让机器人“摸得更灵敏”,进一步提升具身原生通用大脑的能力。
在通用大模型加速演进之际,选择推出一款面向物理操作闭环的触觉基础模型,体现了蚂蚁灵波对具身原生路线的持续投入与坚持。
为了验证触觉表征对真实操作的帮助,蚂蚁灵波在Sharpa Wave和XHand1两款灵巧手上进行了26项真机测试,涵盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入LingBot-Touch后,LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型的平均任务成功率较无触觉时提高约14至26个百分点。
以T-Rex控制Sharpa Wave拧瓶盖为例,不使用触觉时,任务成功率为56.25%;直接输入传感器原始信号时,成功率为62.5%;接入LingBot-Touch的触觉表征后,成功率达到90%。
给机器人装上触觉传感器,并不等于它就能用好触觉。目前,商用触觉传感器整体仍处于较早的发展阶段,视触觉、磁触觉、压阻式等主流路线各有优势和局限,面向不同成本要求和使用场景,多种技术路线可能长期并存。
因此,触觉走向规模化落地的关键,是让触觉理解摆脱对特定传感器物理信号的依赖,使不同来源的数据能够共同用于训练,让积累的触觉能力可以跨传感器、跨灵巧手、跨模型和跨任务复用。
为此,LingBot-Touch按传感原理分别设置编码入口,先处理不同的原始信号,再将不同布局的触点映射到统一的指尖坐标空间,由共享模型学习接触位置、受力及其随时间的变化,输出统一的触觉Token。由此,通过人佩戴触觉手套和遥操作灵巧手采集的数据可以共同用于训练,不同动作模型也可以利用训练好的模型提取接触特征。这一架构还为未来接入新类型的触觉传感器留出了扩展空间。
在XHand1上,团队进一步验证了触觉能力的跨硬件复用。XHand1采用的磁触觉传感器型号并不在预训练数据中,模型学到的磁触觉经验全部来自人佩戴手套采集的数据。换到这只灵巧手后,团队保持LingBot-Touch参数不变,只用XHand1的操作示范训练动作模型。
针对近期具身大模型技术路线的演变,蚂蚁灵波CEO朱兴表示:“以GPT-6 Astra、Claude Fable 5.2为代表的数字世界大语言模型进展,确实让机器人的复杂任务推理和物理操作能力更强,这一点我们很关注,也在积极吸收。但产业一线的实践告诉我们,要真正跑通操作闭环,物理操作泛化性这块硬骨头还是绕不开,很大程度上仍要靠具身基础模型自身的突破。”
在他看来,通用大模型与具身基础模型更接近1+1>2的协同关系:前者增强对任务和环境的理解、推理能力,后者提升物理感知和闭环操作能力,两者各自突破、相互促进,共同加速具身智能产业的成熟。
“模态输入的质量很大程度上决定了动作输出的质量,换句话说,没有好的输入就没有好的输出。”朱兴说,蚂蚁灵波将坚持具身原生路线,持续探索物理操作泛化性的新上限,打造跨构型的机器人行业通用大脑,推动视觉、深度、触觉乃至温度等更多物理模态在统一模型中对齐,并在推进商业化的同时持续向社区开源开放。
目前,LingBot-Touch的技术报告、模型和代码已开源,开发者可在Hugging Face、GitHub和魔搭社区访问和下载。