英伟达近日发布基于真实手术录像训练的实时AI手术模拟器Cosmos3-H-Dreams。借助这款新模拟器，手术机器人有望先在虚拟“腹腔”中练习、测试，但其距离临床应用仍需大量验证。

　　AI芯片巨头英伟达于当地时间10月20日发布手术模拟器Cosmos3-H-Dreams。手术模拟器是在虚拟环境中还原手术场景的工具，可让相关练习和测试无需在真人身上进行。

　　英伟达在开源AI平台Hugging Face上发布官方博客称，据其所知，这是首款基于临床胆囊切除术录像训练、可根据器械操作实时生成画面的手术模拟器。借助Cosmos 3平台和英伟达流式推理加速库FlashDreams，该模型在单块RTX PRO 6000 GPU上即可交互运行。

　　模型的训练素材，来自英国手术机器人企业CMR Surgical旗下Versius手术平台的临床手术视频和机械臂运动数据。

　　这并非英伟达与CMR Surgical首次合作。英伟达与CMR Surgical今年8月联合发表的技术论文显示，英伟达已将前代产品Cosmos-H-Dreams接入Versius手术机器人的医生操控台。

　　对于下一步，英伟达在博客中提出的研究方向包括将模拟范围扩展至完整手术流程、联合外科医生建立模拟效果的评测基准，以及用其训练可自主完成特定手术步骤的机器人。

　　不过，英伟达明确表示，上述仍属研究方向，Cosmos3-H-Dreams目前只是研究工具，尚未经过患者诊疗验证。

　　手术仿真场景升级

　　该模拟器的前代产品Cosmos-H-Dreams应用于达芬奇研究套件（dVRK），模拟的是背景相对简单的实验台缝合任务。达芬奇研究套件是由退役的达芬奇手术机器人改造而成的开源科研平台，供高校和研究机构开发、测试手术机器人技术。

　　两代产品的思路一脉相承：传统模拟器要靠物理公式一步步计算组织如何变形，而这类AI模拟器则是“看录像学经验”，通过大量手术视频学会预判器械操作后的画面变化。

　　思路虽然相同，但Cosmos3-H-Dreams的学习素材从实验台上的缝合练习视频换成了真实的腹腔手术录像，模型需要模拟的画面也复杂得多。

　　英伟达指出，体内器械轻微一动，组织就会被拉伸，反光随之移动，器官可能被遮挡，手术烟雾还会干扰视野。加之模型是逐段接续生成画面的，细小偏差会不断叠加，时间一长，模型生成的器械和器官画面都可能“走样”。

　　英伟达还强调，画面逼真只是第一关，模拟器还必须准确响应器械的移动、旋转和夹取指令，否则就只是一段逼真的视频，无法充当可交互的模拟环境。

　　针对这些难题，新模型以一个160亿参数的基础模型为底座，聚焦抓钳和电钩两件常用器械，可接收双臂位置、夹钳开合等28项操作信号。

　　据英伟达介绍，为兼顾实时性与稳定性，团队先训练一个“教师模型”学习手术画面的变化规律，再将其能力迁移给可实时逐段生成画面的“学生模型”。随后，学生模型以自身生成的画面为基础继续训练，并接受教师模型和一个评判模型的指导，以减少误差的逐步累积。