ViBe：面向感知型人形机器人全身控制的视觉行为自适应

arXiv:2609.09918v1 公告类型：新增 摘要：动作追踪（motion tracking）为人形机器人全身控制提供了一条可扩展的技术路线。按照其设计，由此得到的追踪器缺乏外感受（exteroceptive）反馈，因此对环境的响应仍然要依赖于更高层级的规划器。现有的感知型控制器从零开始训练仅含几何信息的编码器，以牺牲语义信息来换取 sim-to-real 迁移的便利，并且通常依赖师生蒸馏（teacher-student distillation）来完成特定任务。我们提出 ViBe，这是一个用于将动作追踪器适配到感知控制任务的后训练（post-training）框架。我们利用预训练的视觉编码器，并结合多查询提取器（multi-query extractor）模块来学习任务相关的感知反馈。该反馈通过低秩适配器（low-rank adapters）嫁接到追踪器的输入上，从而实现参数高效的微调。在给定任务奖励和参考数据集的情况下，这一模块化控制器可以直接通过策略优化进行适配。在四项任务中，ViBe 展现了零样本（zero-shot）的 sim-to-real 迁移能力，涵盖在路缘和跑酷场景中的感知行走、Repose Cube（立方体重置）、全向物体移动操作（omni-object loco-manipulation）以及躲避球任务，并在室外、低光照和 RGB 干扰物条件下均表现出视觉上的鲁棒性能。最后，我们使用一个刻意保持简单的规划器解决了一个目标导向的 Repose Cube 任务，证明了经由我们的方法适配的感知型控制器的有效性。