机器人正在学会“触觉”

灵巧操作（dexterous manipulation）仍是阻碍机器人成功完成各种日常任务的最大障碍之一。触觉可能是关键所在，但高质量数据的缺乏一直拖累了进展。如今，随着学术实验室和初创公司竞相构建新的触觉数据集并开发相应的应用方法，情况开始发生变化。过去几年中，视觉-语言-动作模型（Vision-Language-Action，VLA）显著提升了机器人执行复杂任务的能力，使其能够应对从未见过的物体和环境。这些 VLA 先在海量图像、视频和文本上进行预训练，再在数量较少的遥操作机器人示范数据上进行微调，仅凭视频画面和自然语言指令，就能引导机器人完成越来越多的日常工作——比如叠衣服、收拾客厅，甚至操作厨房小家电。但机器人在需要精细手部控制的任务上仍然力不从心，例如处理可变形材料或操纵小物件——比如插 USB 数据线或用钥匙开锁。部分原因在于，VLA 忽略了人类在这类情境中依赖的主要信息来源之一：触觉反馈。

像人类一样操作

"大多数灵巧操作，人类闭着眼睛都能完成，"加州大学伯克利分校计算机科学教授 Trevor Darrell 说。"理解力、滑移和精确抓取，是传统视觉传感器难以做好的事情。"然而，有效利用触觉传感器并不容易。触觉传感器数据的特性与 VLA 通常训练所用的图像数据截然不同，而且触觉数据集的规模远远落后于许多视觉和语言数据集的互联网级规模。为绕过这一问题，Darrell 的团队设计了一种方法：先在现有数据集上预训练模型，再通过在一个专门采集的高质量触觉数据集上训练一个专用子模型，赋予模型触觉能力。该数据集包含 100 小时的触觉数据，涵盖擦拭、抓取、拧转、倾倒等常见动作的示范，使用了 200 多种不同的家居物品。

探索 T-Rex 数据集一小部分的交互式可视化。T-Rex

要利用好触觉数据并非易事。目标是让机器人能够在操纵物体的过程中，利用触觉信号实时校正其抓握。但这要求的反应速度比大多数视觉-语言模型的运行速度更快。Darrell 表示，这种不匹配是一个重大挑战，因此团队采用了被称为"专家"（experts）的独立子模型，分别处理高层动作和底层触觉控制，其速度快到足以让触觉反馈发挥作用。动作专家生成运动规划，而触觉专家的运行速度是前者的四倍，它利用触觉反馈，根据机器人在执行过程中的实时触感来调整运动规划。随后，该模型在约 100 条相对复杂操作任务的遥操作示范数据上进行了微调，例如拧灯泡、往牙刷上挤牙膏、或在托盘之间转移鸡蛋，在 12 项任务上的平均成功率为 65%——几乎是表现最好的 VLA 模型的两倍。

数据多样性

Darrell 承认，一个局限在于他的数据来自单一实例的机器人硬件。机器人手的形态多种多样，从全驱动的五指设计到简单的夹爪都有；触觉传感器所依据的物理原理也可能根本不同，从测量电阻变化到记录软性凝胶垫受压形变的图像。清华大学硕士生 Chengbo Yuan 表示，这使得大多数触觉 AI 研究都与特定传感器绑定，导致各团队之间难以共享数据和迁移学习成果。Yuan 最近着手解决这一问题，他从公开数据集中汇总了超过 3,000 小时的触觉机器人数据，涵盖 21 种传感器类型和多种机器人形态。Yuan 说，他们受到 Open X-Embodiment 合作计划等工作的启发——该计划汇集了来自众多机器人的数据，训练出的模型能够泛化到训练中未使用过的硬件上。随后，Yuan 的团队设计了一种与硬件无关的模型，通过将每种传感器的输出转换为统一格式，并映射到一个人手模板上的标注位置，从而能够在这些多样化的数据上进行训练。该模型的表现远优于基线模型，即使在它从未见过的硬件上也是如此。Yuan 将此归因于模型通过在如此多样的配置上进行训练，获得了"某种触觉知识的常识"。

追逐规模

尽管成果喜人，Yuan 认为还需要更多触觉数据。他的团队目前正牵头一项由 80 家机构参与的合作，采用标准化的触觉数据采集与处理方法，整理一套更大规模的遥操作示范数据集。与此同时，上海的复旦大学及其孵化的公司 NeoteAI 已经构建出一个比以往工作大一个数量级的触觉数据集。他们使用一款自主研发的传感器，搭载在多种机械臂以及由人手持操作的夹爪上，采集了超过 30,000 小时的示范数据，其中视觉与触觉数据保持同步。研究人员利用这些数据训练了一个模型，它不仅能对触觉做出反应，还能主动预测机器人"应该"感受到什么，以此来引导和评估动作，从而显著提升性能。复旦大学博士后研究员、NeoteAI 首席技术官 Shunlin Lu 表示，这些结果清楚地证明，获取大规模且多样化的触觉数据能够带来显著的性能提升。带有触觉组件的机器人操作策略在多种真实世界任务上表现出更优的性能。NeoteAI

另一种扩大触觉数据规模的思路，是"搭便车"利用已经采集的海量视觉机器人数据。研究人员……