Runway 携开源权重 Praxis-1 模型进军机器人领域

Runway 是生成式 AI 视频领域最知名的公司之一，如今它正带着 Praxis-1 进入机器人赛道。Praxis-1 是一个开放权重的 AI 模型，旨在利用从视频中学到的知识来控制实体机器人。“开放权重”意味着开发者可以下载模型并在本地运行或自行适配，而不必只能通过 Runway 的服务器访问。

该公司将 Praxis-1 描述为其首个“world action model”，并表示它建立在与其通用 world model 相同的大规模视频预训练基础之上。目前，Runway 正与机器人公司 Noble Machines、Standard Bots 和 Ultra Robotics 合作，在多种机器人硬件上测试 Praxis-1，并计划在未来几个月内公开提供该模型。此举标志着 Runway 从其成熟的生成式视频业务，迈向快速成长的 physical AI 与机器人市场。

Runway 表示：“今天我们发布 Praxis-1，这是我们的首个开放权重 world action model。它基于支撑我们通用 world model 的大规模视频预训练。我们正积极与各类具身形态的早期合作伙伴一起测试 Praxis-1，并将在未来几个月内公开发布。”

Praxis-1 的核心理念是：机器人未必需要主要从海量的机器人生成数据中学习。收集真实世界的机器人数据既昂贵又耗时，尤其是当需要反复通过遥操作让机器人完成任务时。Runway 希望转而利用数量庞大的普通互联网视频来训练 AI 模型。视频可以教会模型物体行为、运动方式、物理交互以及人类如何完成任务。Runway 认为，一个从一开始就理解物理世界的机器人策略，相比主要从机器人动作数据训练出的策略具有明显优势。

该公司称：“一个从视频预训练中已经理解物理合理性和物体行为的策略，相比仅由动作数据构建的策略，拥有巨大的先发优势。”

Runway 将这一方法与大型语言模型的发展作类比：大语言模型先通过大量文本获得对语言的广泛理解，再被适配到更具体的任务上。该公司表示，其实验表明机器人领域也存在类似的缩放效应——随着训练中使用的第一人称/第三人称视频数量增加，机器人策略的表现也随之提升。

Runway 展示了一项实验：分别使用普通网络视频和遥操作机器人视频进行预训练，再经过微调后，网络视频预训练模型的最终放置误差为 16.1 厘米，而遥操作机器人视频预训练模型为 16.0 厘米。Runway 指出，在报告的不确定性范围内，两者差异并不具有统计学意义。

该公司还在更具挑战性的操作问题上测试 Praxis-1，包括杂乱环境、透明物体、可变形材料以及外观相似的成组物体。在另一项演示中，Runway 展示了同一策略无需重新训练，即可在受控摄影棚环境和家庭厨房中同时运行。

Praxis-1 建立在 Runway 在交互式视频与 world model（包括 Solaris 和 GWM Worlds 2）方面的研发基础之上。这些模型试图表示环境和物体如何随时间变化，而不仅仅是生成单张图像或预定视频序列。Runway 表示：“通过教模型生成准确的物理——物体如何行为、手如何移动、任务进行到一半时长什么样——我们为数字世界和物理世界中的智能体训练创造了动态而复杂的环境。”

Praxis-1 将这一方法应用于机器人领域，Runway 的目标是开发一种能够跨不同机器人形态和环境运行的通用策略。该公司还表示，此前的实验发现，在其 world model 中仿真机器人策略得到的结果，与后续真实世界表现的相关系数达到 0.95。

Praxis-1 正在三个早期机器人合作伙伴的平台上进行测试：Noble Machines 正在评估其双手操作能力；Standard Bots 在其六自由度机械臂 RO1 上运行该模型；Ultra Robotics 则在移动机器人平台上进行测试。Runway 表示，在模型公开发布前，将让更多公司加入早期体验计划，以在不同机器人构型和运行环境中评估性能与安全性。

Runway 还计划以开放权重形式发布 Praxis-1，而不是将其限制为专有托管模型。该公司将这一决定部分归因于其对 physical AI 发展中 AI 模型与机器人硬件之间更高互操作性的重视。Runway 称：“我们将开放 world model 视为一种复合优势，它能为硬件开发者提供目前所不具备的灵活性和控制权。”

目前，Runway 正在接受机器人开发者的申请，希望他们在 Praxis-1 更广泛发布前，在自己的硬件上测试该模型。

此次发布让 Runway 进入一个日益重要的 AI 研究领域：利用大规模 world model 和从视频中获取的知识，训练能够与物理世界互动的机器。如果这一方法能够规模化，Praxis-1 的意义可能在于减少机器人领域一个长期存在的瓶颈——获取足够多样化的真实世界训练数据，以生产出能在严格控制环境之外可靠运行的机器人。