多模态大模型走进物理世界：机械臂为何仍端不稳咖啡

当人工智能能够阅读摄像头画面、理解自然语言、编写控制程序，甚至根据反馈持续修改策略时，很多人会自然地产生一个判断：让它控制机械臂端起一杯咖啡，应该只是把几个能力组合起来的问题。

但实际情况远比想象复杂。

在一项面向物理操作能力的测试中，研究人员让五个当时具有代表性的多模态模型完成多类任务，包括叠放积木、操纵无人机接球、驾驶车辆通过弯道，以及让四足机器人在受到外力推倒后重新站起。测试结果并不乐观：表现最好的模型在84个任务中只完成了16个，成功率约为19%；第二名完成13个，成功率约为15.5%；其余模型只完成了少量任务。

这组结果揭示了一个重要事实：会理解、会推理、会写代码，并不等于能够稳定地控制现实世界中的设备。

一、物理世界不是“执行一段代码”那么简单

在软件环境中，程序通常具有明确的输入、确定的状态和可重复的执行结果。调用一个函数，系统往往会返回成功或失败；访问一个数据结构，位置和内容也基本稳定。

机器人面对的环境却始终存在误差：

• 摄像头可能受到光照、遮挡和反光影响；
• 物体的位置与姿态估计存在偏差；
• 机械臂关节存在回差和控制误差；
• 夹爪的力度可能不足，也可能挤压或碰倒目标；
• 桌面、地面和轮胎之间的摩擦力难以精确估计；
• 设备动作会改变环境，环境变化又会反过来影响下一步决策。

因此，机器人任务不是简单的“看图—写代码—执行”，而是一个连续闭环：

感知环境 → 建立状态估计 → 规划动作 → 低层控制 → 获取反馈 → 判断结果 → 修正策略。

其中任何一个环节出现小偏差，都可能在后续动作中被放大。

例如，机械臂夹取瓶子时，如果目标中心点偏移了几毫米，夹爪仍然可能看起来已经到达指定位置，但实际接触点不对称。接下来一旦抬升，瓶子就会倾斜、滑落，甚至撞击周围物体。对语言模型而言，这可能只是一次“抓取失败”；对机器人系统而言，它意味着场景状态已经发生了不可逆变化。

二、模型能写控制代码，但未必理解代码的后果

多模态模型通常具备较强的工具使用能力。它可以根据图像提取目标区域，编写颜色分割程序，计算坐标变换，读取关节角度，并生成运动控制逻辑。

问题在于，代码能够运行，并不代表动作能够完成任务。

以积木堆叠为例，模型可能采用两种不同路线：

第一种路线是先依据视觉结果进行粗略抓取，在执行过程中不断观察积木位置，再根据实际反馈补充几何计算。这种方式启动快，但容易受到初始估计误差影响。

第二种路线是先完成颜色识别、相机投影和机械臂坐标之间的标定，再规划抓取路径。它前期准备更充分，但需要更多计算和工具调用。

两种路线都可能完成一次放置动作，却不代表它们具有同样的可靠性。真正重要的问题包括：

1. 抓取位置是否位于物体稳定区域；
2. 抬升过程中是否持续确认物体仍在夹爪中；
3. 放置时是否检测积木已经完全落稳；
4. 当前动作失败后，系统是否知道应该重试、换角度还是改变策略；
5. 任务完成是否有明确的终止判定。

这说明，机器人控制不能只关注“动作指令是否发出”，还必须关注“动作造成的状态是否符合预期”。

三、“执行”与“完成”之间存在巨大差距

论文中反复体现出的核心问题，可以概括为一句话：动作执行成功，不等于任务完成。

例如，在倒水任务中，机器人需要完成一条连续链路：

1. 识别瓶子与容器的位置；
2. 判断瓶子的可抓取区域；
3. 以合适的姿态接近目标；
4. 建立稳定抓握；
5. 将瓶子移动到容器上方；
6. 控制倾斜角度和速度；
7. 观察液体是否真正流入容器；
8. 恢复瓶子姿态并安全放回。

任何一步失败，后续动作都可能失去意义。

测试中曾出现这样的情况：机器人在接近瓶子时将其碰倒。模型随后意识到第一次抓取没有成功，也记录了失败原因，但它没有立刻重新构建场景状态，而是继续尝试从原有方向抓取。多次失败后，系统才切换到另一侧机械臂，重新定位目标。然而，此时剩余动作预算已经不足，最终仍未完成任务。

从控制系统角度看，这不是单纯的“抓取能力不足”，而是异常恢复机制不完整，至少暴露出四个问题：

• 没有及时确认瓶子是否已经改变姿态；
• 没有根据新状态重新规划可行抓取点；
• 没有设置失败次数、时间或风险阈值；
• 没有在任务不可行时主动切换方案或安全终止。

如果把大模型看作高级任务规划器，那么这些问题说明它还缺少可靠的状态机和安全约束。

四、机器人系统不能只依赖大模型的自由决策

在真实设备中，更合理的架构通常是分层控制，而不是让大模型直接负责每个关节的连续动作。

1. 任务层：理解目标与约束

任务层负责把自然语言目标转化为结构化要求，例如：

• 目标物体是什么；
• 目标位置在哪里；
• 哪些物体不能碰；
• 是否允许重新尝试；
• 任务成功的判断标准是什么。

“把咖啡端到桌边”并不是一句简单指令，它还隐含了液体不能洒出、杯子不能倾倒、机械臂不能碰撞桌面等约束。

2. 规划层：拆解动作与选择策略

规划层负责生成动作序列，例如“定位杯子—接近—闭合夹爪—验证抓取—抬升—移动—放置—确认”。

这一层应当允许分支，而不是生成一条不可修改的固定脚本。若抓取验证失败，就应进入重新定位；若目标物体倒下，就应切换到新的姿态识别流程。

3. 控制层：保证动作连续、平稳和安全

控制层不宜完全依赖语言模型临时生成的代码，而应由经过验证的运动控制模块负责速度、加速度、关节范围、碰撞约束和末端轨迹。

大模型可以提出“移动到杯子上方”的高层目标，但具体如何规划轨迹、怎样限制速度、如何避免奇异姿态，应由专门的控制算法执行。

4. 监控层：持续判断是否偏离预期

监控层需要同时观察视觉、关节状态、夹爪反馈和任务进度，并回答三个问题：

• 当前状态是否仍然符合计划；
• 动作是否产生了预期结果；
• 是否需要暂停、回退或更换方案。

没有监控层，系统就容易陷入“不断重复同一个错误动作”的循环。

五、提升成功率的关键：把反馈变成可计算状态

很多失败并不是因为模型没有看到异常，而是因为它无法把异常转化为明确的决策信号。

例如，“瓶子倒了”应当被表示为可计算状态，而不是一句自然语言描述。系统可以维护类似这样的状态结构：

目标物体：瓶子
位置：桌面右侧
姿态：横倒
抓取状态：未建立
周围空间：左侧可接近，右侧受遮挡
失败次数：3
下一步建议：重新估计姿态，改用侧向抓取

有了结构化状态，规划器才能进行条件判断：

如果目标姿态发生变化：
    停止当前轨迹
    重新检测目标边界与朝向
    评估新的抓取点
    选择风险更低的接近方向
    执行低速试探动作
    验证抓取是否稳定

这里的重点不是代码本身，而是系统必须拥有“观察—判断—行动—验证”的闭环，而不是只生成一段看似合理的动作脚本。

六、为什么机械臂端咖啡比聊天难得多

端咖啡任务同时包含多个连续约束：

• 杯子中的液体具有惯性；
• 机械臂移动过快会造成液面晃动；
• 抓取中心偏移会导致杯体倾斜；
• 路径规划不仅要避开障碍，还要保持末端姿态；
• 最终放置必须满足位置、速度和姿态要求；
• 即使杯子到达目标区域，也不能简单视为成功，还要确认液体没有明显洒出。

因此，成功标准不能只由“末端是否到达目标坐标”决定，还应综合视觉结果、姿态稳定性、夹爪反馈和环境变化。

从工程角度看，可以引入分阶段验收机制：

• 抓取后确认杯子是否随机械臂移动；
• 抬升后确认杯口倾角是否在安全范围；
• 移动中持续检查液面和杯体姿态；
• 放置后确认杯底已经接触桌面；
• 任务结束前检查目标区域和杯子状态。

这种设计会增加感知与计算开销，但能显著减少“动作看起来完成，结果实际上失败”的情况。

七、评价物理智能，不能只看一次成功率

单次成功率当然重要，但它不能完整描述机器人系统能力。更有价值的指标还包括：

• 平均完成时间；
• 单次任务的动作数量；
• 失败后的恢复成功率；
• 无效重试次数；
• 碰撞和危险动作数量；
• 对环境变化的适应能力；
• 在不同物体、光照和摆放位置下的稳定性；
• 是否能够在预算耗尽前主动终止高风险行为。

一个系统如果偶尔能够完成任务，但经常重复错误动作，那么它距离实际部署仍然很远。相反，一个能够快速识别失败、采取安全回退并重新规划的系统，即使初始成功率不高，也更具工程价值。

结语：从“会写代码”到“可靠行动”仍需跨越多层鸿沟

多模态大模型已经展示出将视觉理解、数学推理、代码生成和工具调用结合起来的潜力。但物理世界要求的不只是聪明，还包括稳定、连续、可验证和可恢复。

机械臂能否端稳一杯咖啡，真正考验的不是模型能否写出控制代码，而是它能否准确理解当前状态，预测动作后果，在出现偏差时及时停止，并根据新的环境重新规划。

未来的机器人系统很可能不会由单一模型独立完成全部工作，而是采用“大模型负责理解和规划、专用模块负责控制和安全、反馈系统负责验证与恢复”的协同架构。

只有当“看见了什么”“准备做什么”“实际发生了什么”能够在闭环中持续对齐，人工智能才算真正从数字世界迈入了物理世界。