ReTouch：通过在线优化的触觉预测赋能接触密集型灵巧操作

arXiv:2608.01824v1 公告类型：新发布 摘要：融合触觉信号已被证明对富接触操作有效，使机器人能够感知接触状态并适应快速变化的物理交互。然而，如何有效地将触觉反馈整合到灵巧操作中仍有待深入探索。在这项工作中，我们提出了 ReTouch，一个视觉-语言-动作模型（VLA），通过利用执行时反馈在线持续精炼的触觉预测，支持富接触灵巧操作。ReTouch 建立在触觉表征与闭环动作生成的两大主要创新之上。首先，其 Tactile-Patch Encoder（触觉补丁编码器）将触觉观测表示为结构化的触觉补丁特征，保留手指身份信息和局部接触结构，为细粒度灵巧控制提供接触线索。其次，其高频动作模块联合预测未来触觉状态和动作块（action chunks），并在执行过程中利用传入的触觉反馈对两者进行精炼。这种闭环精炼使触觉预测与不断演化的物理交互保持对齐，实现响应式的动作纠正，并提高对接触变化与执行误差的鲁棒性。我们还进一步发布了 XHT-Dataset，该数据集包含在 XHand--UR7e 平台上采集的、涵盖七项富接触任务的 900 条真实世界演示，并通过闭环真实机器人实验对 ReTouch 进行了评估。在标准条件与具有挑战性的条件下，ReTouch 的平均成功率分别超过最强基线 18.4 和 23.8 个百分点，展示了其有效性与鲁棒性。