上证报中国证券网讯(记者宋薇萍)近日,全球首个以真实执行为标尺的动作驱动世界模型评测平台WorldOracle正式发布,并向开发者开放评测提交。该项目由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学的研究人员联合完成,直击行业一直没有基准正面回答的问题:给定一组动作,模型预测的未来,和真实发生的过程,究竟差多少?
过去一年,世界模型生成的视频越来越逼真,但“像不像”和“真不真”是两回事。当世界模型被用作机器人的“预演沙盘”时,一次失败操作在模型里被预测成功,机器人就会系统性高估自己。此前的评测要么在仿真环境里跑,要么只考文本驱动的视频生成。WorldOracle把考场搬到了真机实录现场:预先采集真实操作的画面与动作序列,让模型在相同条件下开放回放生成预测,再与真实执行逐帧对照。真实操作里的抓空、掉落、洒水被完整保留——准确预测失败,同样得高分。
WorldOracle给这种“预测与真实执行的吻合程度”起名为“执行一致性”。一个可靠的世界模型,必须扛住三重压力测试:因果服从、分布迁移和时序耐力。研究团队横评了IRASim、Ctrl-World、DreamDojo、Cosmos 3、GE-Sim 2.0等7个代表性动作驱动世界模型,结果揭示出五个发现:
第一,机械臂会“演戏”,物体才是说谎者。所有模型无一例外出现巨大落差:机械臂的运动被精确复刻了,但它对世界造成的影响——水果有没有被抓走、毛巾有没有滑落——模型其实“没看住”。第二,120秒是多数世界模型的“记忆极限”。随着预测窗口拉长,衰减曲线触目惊心,短时预测的分数几乎不能用来预判长时表现。第三,动作跟得越准,越会掩盖结果的错误。空间对齐和物理结果正确是两种独立的能力,一个模型可以在所有视角里精确地撒同一个谎。第四,换了“司机”,成绩大幅跳水。由策略自主执行产生的动作带有人工操作中没有的犹豫、抖动和中途修正,部分模型成绩大幅下滑。第五,人手是当前世界模型的“绝对盲区”,即便表现最好的模型物体区域保真度也只有15.2分。
据悉,WorldOracle的考题全部来自真机实拍,包含335条评测轨迹,约40%的交互片段是失败或次优执行,覆盖刚体、柔性体、流体、关节体4种物理形态。目前,WorldOracle已公开榜单和提交指南,支持开放权重与闭源模型。