WB-WAM:面向人形 loco-manipulation 的异构身体-手部预训练
原标题:WB-WAM: Heterogeneous Body-Hand Pre-training for Humanoid Loco-Manipulation
人形 loco-manipulation 要求身体与手部行为协调一致,而传统机器人预训练数据对这类全身运动的覆盖有限。我们提出 WB-WAM,一种 World Action Model,将显式的全身动作监督引入生成式视频预训练。一个共享的 physical action space 整合了来自异构来源的身体、躯干根部与灵巧手标注,使模型能够从 1880.2 小时的部分标注视频与运动数据中进行视频与动作的联合学习。
所得先验通过 PICO mid-training 进一步精炼,并借助辅助的正向运动学监督适配到机器人任务。我们构建 WB-Datasets 支持上述阶段,包含重定向的第一人称人类演示与机器人轨迹,从而让任务对齐的人类动作补充有限的机器人数据。仿真评估中,WB-WAM 在 HumanoidArena 上取得 81.9% 的全身任务成功率;真实世界实验在 5 项任务上平均成功率达 84.0%,进一步验证了该方法。
此外,任务对齐的 PICO mid-training 能够提升下游任务表现,同时减少对真实机器人演示的需求。这些结果支持异构全身预训练与人体动作迁移,是实现数据高效的人形 loco-manipulation 的一条可行路径。