ReDex：通过手指级柔顺交互修复 sim-to-real 灵巧操作策略

ReDex：通过手指级柔顺交互修复 sim-to-real 灵巧操作策略

arXiv:2610.07525v1 发布类型：new

摘要：在仿真中训练的灵巧操作策略在迁移到真实世界时，常常因为接触时机与力调节的误差而失败。然而，这些策略仍可能保留有助于任务推进的多指协调能力。我们提出 ReDex，一个通过修正局部接触失败并引入触觉反馈，将仿真训练的基础策略适配到真实世界的框架。从一个仅依赖本体感知（proprioception-only）的基础策略出发，ReDex 允许人类操作者在真实世界 rollout 中，通过柔顺控制对选定的手指进行物理接触修正，而冻结的基础策略继续控制其余手指。这些 rollout 结合了基础策略执行、人工修正的手指运动以及指尖力观测。我们从中重建带有力信息的 target，并通过行为克隆（behavior cloning）训练一个独立的力条件策略。该设计减少了人工修正工作量，使策略能从真实交互中学习接触调节，并在不依赖触觉仿真或复杂全手遥操作的情况下，将力反馈引入原本仅使用本体感知的策略。我们在真实硬件上两个具有挑战性的接触密集型灵巧操作任务中评估了 ReDex。与直接 sim-to-real 迁移的基础策略相比，ReDex 将 Object Flipping 任务在两个物体上的成功率从 14% 提升至 86%，并将 Screwdriver Rotation 任务在三个物体上的平均进度从 26.0% 提升至 95.3%。