ViTacPhys：基于视觉-触觉演示的物理属性感知抓取

当前基于视觉的动作模型在复杂操作中表现出色，但很少显式利用物体的物理属性来调整策略。

本文提出 ViTacPhys，一个视觉-触觉框架与数据采集系统，能够从人类操作演示中估计物体质量、摩擦系数类别以及连续刚度值。研究者在 60 个刚性与可变形物体上采集数据，结合时序视觉-触觉建模、跨注意力多模态融合，以及从视觉-语言模型获得的语义先验。

在见过的物体上，ViTacPhys 的质量分类准确率达 97.2%，摩擦系数分类准确率达 98.8%，刚度平均绝对百分比误差（MAPE）仅为 5.51%。在已知类别的未见物体上，质量准确率仍有 87.5%，摩擦系数准确率 97.5%，刚度 MAPE 为 9.08%。

研究团队将 ViTacPhys 从人类操作域迁移到机器人域，使用有限的机器人遥操作数据、机器人风格视频增强以及动作匹配的人类演示，并将其部署为在线自适应抓取模块。最终，基于物理属性的策略在分布内物体上抓取成功率达 95.0%，在分布外物体上达 83.4%。对于两者都能成功抓取的分布外物体，其力轮廓比 ACT 更接近人类遥操作。

这些结果证明，显式估计并条件化物体的物理属性，是实现真实世界自适应抓取的可行路径。