结构感知鲁棒微调：防御VLA机器人免受物理注意力劫持攻击

arXiv:2608.03231v1 公告类型：new 摘要：Vision-Language-Action（VLA）策略有望实现通用机器人操作，但其抵御物理世界攻击的鲁棒性仍然脆弱。具体而言，我们展示了物理上可实现的对抗补丁（adversarial patch）能够通过触发一种我们称之为"策略关键的动作到视觉注意力劫持"（policy-critical action-to-vision attention hijacking）的机制，可靠地诱发故障——在这种机制中，以动作为条件的注意力从任务相关区域被转移到一个局部化的补丁上。为了展示这一威胁，我们提出了 Attention-Guided Semantic Disruption（AGSD），一种基于 Expectation-over-Transformation（EOT）优化的可打印补丁，它同时实现：(i) 将动作到视觉的注意力集中到补丁上；(ii) 破坏视觉-语言语义对齐，从而实现强大的跨任务和跨架构迁移能力。为了缓解此类攻击，我们引入了 Structure-Aware Robust Fine-Tuning（SARF），一种零推理开销的防御方法，仅对视觉编码器进行微调，采用特征锚定（feature anchoring）、策略关键注意力纠正（policy-critical attention correction），以及仅限于语义相关区域的语言引导几何一致性（language-guided geometric consistency）。在 LIBERO 基准上，SARF 将 OpenVLA 在 AGSD 攻击下的失败率从 100% 降低至 14.2%–56.8%（各套件平均 28.6%），同时保持了干净环境下的性能；在真实的 PiPER 机械臂上，它将 AGSD 攻击下的平均成功率从 23.0% 提升至 65.0%。这些结果表明，机制层面的鲁棒性是保护 VLA 机器人免受物理注意力劫持攻击的一条切实可行的路径。