AdvDex：通过关节对齐动作与对抗学习从人类演示中学习灵巧操作
原标题：AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning
arXiv:2608.14028v1 公告类型：新增（new） 摘要：灵巧操作（dexterous manipulation）是具身智能的一项基础能力，但其规模化仍面临困难，因为机器人演示数据采集成本高昂，且不同机器人本体的动作空间各不相同。在异构数据上训练的策略还可能将任务相关的视觉线索与本体特定的外观纠缠在一起，从而限制跨本体泛化能力。我们提出 AdvDex，一个统一的视觉-语言-动作（Vision-Language-Action, VLA）框架，用于从人类和机器人演示中学习灵巧操作。首先，我们推出 OmniShare，一个大规模的多模态人类操作演示数据集，它提供高质量的运动学监督信号和触觉测量，同时降低对机器人遥操作的依赖。其次，我们提出关节对齐动作空间（Joint-Aligned Action Space, JAAS），这是一种规范化的动作表示，由 SE(3) 手腕位姿和 15 个手指关节组成，从而在功能上对齐人手、机器人灵巧手（dexterous hand）和平行夹爪。最后，我们采用域对抗学习来减少所学视觉表征中的本体特定信息。在手部动作预测和真实世界灵巧操作上的实验表明，相比基线方法，本方法取得了持续的性能提升，实现了有效的零样本人到机器人技能迁移，对未见物体和环境具有泛化能力，并能进行数据高效的少样本自适应。