从语言智能到物理智能：关注真实执行鸿沟

一、物理智能的“突破”应如何理解

随着通用人工智能模型在理解、推理、规划和多模态交互方面持续进步，机器人等实体系统开始具备更强的任务解释能力。例如，面对“整理桌面并清洗使用过的工具”这类自然语言指令，系统可以将目标拆解为识别物体、确定顺序、抓取搬运、接触清洗、放置归位等多个步骤。

这类进展容易给人一种印象：只要模型足够强，机器人就能够自然进入通用劳动场景。实际上，需要区分两个不同层次的能力：

• 认知与规划能力：理解用户意图、识别任务目标、生成操作步骤、根据场景变化调整任务顺序。
• 物理执行能力：通过传感器感知环境，控制关节、末端执行器或移动底盘，在摩擦、遮挡、形变、碰撞和噪声存在的真实环境中完成动作。

前者主要解决“应该做什么”，后者解决“怎样稳定地做成”。语言模型和多模态模型的发展，确实正在快速压缩前者的难度；但后者依然受到机械结构、传感精度、控制频率、训练数据和安全机制等多重约束。

因此，判断物理智能是否出现实质性突破，不能只看演示中是否完成了一个复杂任务，而要看系统是否能够在陌生环境、连续任务和可重复条件下保持稳定成功率。

---

二、“会想”与“会做”：两套不同的技术账本

1. 规划正确，不等于动作成功

一个智能系统可以准确地得出“需要先拿起工具，再移动到容器旁，最后执行清洗动作”的结论，但在实际执行时，仍然可能遇到大量失败点：

• 工具摆放角度与训练场景不同，导致抓取点估计偏差；
• 物体表面反光、遮挡或颜色相近，造成视觉识别不稳定；
• 抓取力度不合适，导致物体滑落、变形或损坏；
• 容器内液体反射影响深度估计；
• 接触过程中产生意外阻力，系统无法及时调整轨迹；
• 完成单步动作后，物体位置发生变化，后续计划失效。

从工程角度看，一个任务的总体成功率通常由多个环节共同决定。可以用一个简化表达式描述：

[
P{task}=P{understand} \times P{plan} \times P{perceive} \times P{control} \times P{recover}
]

其中：

• (P_{understand})：指令理解正确率；
• (P_{plan})：任务规划正确率；
• (P_{perceive})：环境和物体感知可靠性；
• (P_{control})：抓取、移动、接触等动作控制成功率；
• (P_{recover})：发生偏差后的恢复成功率。

即使理解与规划接近理想状态，只要执行控制或异常恢复能力不足，端到端任务成功率依然会明显下降。尤其是多步骤任务，单步成功率的小幅损失会不断累积。

假设一个任务需要连续完成 10 个动作，每个动作成功率为 95%，则整体连续成功率约为：

[
0.95^{10}\approx 59.9\%
]

这意味着，单步看似已经“很可靠”的系统，在长链路任务中仍可能频繁失败。物理智能要真正进入生产和生活环境，必须面对这种概率累积问题。

2. 接触操作是当前最难跨越的部分

视觉识别和路径导航通常可以在一定程度上通过更多数据、更大模型和更好的地图构建得到改善。但涉及真实接触时，问题会变得复杂得多。

机器人接触世界时，需要处理以下变量：

• 摩擦系数不确定性：同一种材质在干燥、潮湿、磨损等状态下，摩擦特性不同；
• 物体形变：布料、食品、线缆、塑料袋等并非刚体，受力后形态不断变化；
• 接触力变化：插拔、旋拧、擦拭、倾倒等动作需要精确控制力和力矩；
• 视觉遮挡：机械臂或手部本身可能挡住关键区域；
• 误差传递：毫米级的位置偏差可能导致插入失败、抓取偏移或碰撞；
• 环境开放性：家庭、仓库、实验室等环境中的物品排列并不完全固定。

这也是为什么许多系统能够完成“看见物体、走到物体前、尝试拿起物体”，但很难长期稳定完成精细装配、柔性物体操作、工具使用和复杂清洁等任务。

---

三、真正值得关注的，不是单次演示而是闭环能力

在评估物理智能系统时，应避免只关注展示视频或单次任务结果，而应重点观察系统是否具备完整的感知—决策—控制—反馈闭环。

1. 是否具备高频控制与低延迟响应

大模型擅长进行高层推理和任务分解，但实体系统还需要足够快的运动控制回路。

例如，在抓取一个正在滑动的物体时，系统不能等待较长时间再生成下一步文本式指令，而应依靠局部控制器快速完成以下动作：

1. 读取视觉、深度、力觉和关节状态；
2. 估计物体位置和姿态变化；
3. 判断当前抓取是否稳定；
4. 动态调整夹爪力度、末端轨迹和关节速度；
5. 在碰撞或异常发生时立即停止或撤回。

高层模型适合给出“先抓取、再移动、后放置”的策略；低层控制模块则需要在短时间尺度内处理“偏了多少、该往哪个方向修正、力度是否过大”等问题。

一种更合理的分层架构如下：

用户指令
   ↓
任务理解与语义规划
   ↓
技能选择与动作编排
   ↓
局部轨迹生成与约束检查
   ↓
实时运动控制与力反馈
   ↓
传感器观测、异常检测、状态回传
   ↑________________________________|

如果只有高层规划能力，而没有稳定的实时控制和反馈机制，系统就会表现为“会解释、会规划、但不够会操作”。

2. 是否能进行在线纠错，而非重复尝试

物理环境中的失败不可完全避免，关键在于系统遇到失败后能否识别原因并选择合适的恢复策略。

例如，抓取失败不应简单地再次执行同一条轨迹，而应区分以下情况：

• 目标物体位置估计错误；
• 抓取点选择不合理；
• 夹爪闭合范围不足；
• 物体被其他物品遮挡；
• 接触力过大导致目标移动；
• 目标并非预期材质或形状。

不同失败原因对应不同修复动作。一个成熟系统应当具备状态监测、失败分类、动作回退和重新规划能力。

可以将恢复过程抽象为：

执行动作
   ↓
检测结果是否符合预期
   ├─ 是：进入下一步骤
   └─ 否：识别异常类型
             ↓
         生成恢复策略
             ↓
       重新感知并执行

真正影响商业可用性的，往往不是首次成功率，而是失败后的安全恢复率、人工介入频率以及恢复耗时。

---

四、如何理解“陌生场景中的任务成功率”

行业讨论中经常出现“系统能够在大多数陌生环境完成大多数任务”之类的表述。这种目标方向是合理的，但必须明确评测口径，否则容易产生认知偏差。

1. “陌生场景”必须有严格定义

陌生并不只是更换一个房间背景。更有价值的泛化测试，至少应包含以下维度：

• 物体类别变化：从固定杯子扩展到不同尺寸、材质和形状的容器；
• 摆放位置变化：物体不再位于训练时的标准坐标；
• 光照变化：室内明暗、局部反光、阴影遮挡；
• 背景干扰变化：桌面杂乱、相似物体增多；
• 工具状态变化：工具倾斜、部分遮挡、表面潮湿；
• 人类行为干扰：人员经过、物体被临时移动；
• 任务顺序变化：同一目标需要不同的执行路径。

如果所谓陌生场景只是在固定实验环境中调整少量物体位置，那么它距离真实开放环境仍然较远。

2. 成功率应拆分统计，而非只给总分

企业在评估方案时，应要求按任务链路拆解数据，例如：

指标类别	需要关注的问题
指令理解率	是否正确识别任务目标、约束条件和优先级
目标识别率	是否能够稳定发现目标物体及其状态
抓取成功率	面对不同姿态、材质和遮挡时是否仍能成功
接触操作成功率	插入、擦拭、倾倒、旋拧等动作是否可靠
连续任务完成率	多步骤任务中是否能够维持状态一致性
异常恢复率	失败后是否能够自动重试、回退或求助
安全事件率	是否发生碰撞、夹伤、物品损坏等问题
人工介入率	每完成一定数量任务需要人工协助的次数

特别需要注意的是，平均成功率可能掩盖长尾问题。对于涉及人身安全、设备安全或高价值物品的场景，更应关注最差条件下的表现，而不是只看平均值。

---

五、物理智能落地的核心瓶颈：数据、仿真与系统工程

1. 高质量操作数据仍然稀缺

语言模型可以从大量文本中学习语言规律，但物理操作数据的获取成本明显更高。每一段高价值数据都需要包含：

• 多视角视觉信息；
• 关节位置与速度；
• 力、力矩或触觉反馈；
• 末端执行器状态；
• 操作目标与任务标签；
• 成功、失败及失败原因；
• 人工修正过程与恢复轨迹。

更困难的是，很多真实操作任务具有高度场景依赖性。仅依靠少量标准化数据，很难覆盖现实环境中的长尾情况。

因此，后续竞争重点不只是模型规模，也包括数据采集体系、数据清洗能力、仿真生成质量、真实环境回灌机制，以及针对失败案例的持续训练能力。

2. 仿真可以提效，但不能替代真实世界验证

仿真环境可以低成本生成大量训练场景，用于学习基本移动、避障、抓取和策略搜索。但仿真与真实环境之间仍存在差异，包括视觉噪声、材质反射、机械磨损、传感器延迟、接触模型误差等。

因此，较稳妥的技术路线通常是：

1. 在仿真中进行大规模策略预训练；
2. 在受控真实环境中做小范围校准；
3. 收集失败样本与人工示范；
4. 对模型进行针对性优化；
5. 再进入更复杂的真实环境验证；
6. 持续建立数据闭环。

这不是一次性训练即可解决的问题，而是长期的“部署—反馈—更新—再部署”循环。

3. 硬件设计与模型能力必须协同

物理智能不是纯软件问题。机械臂自由度、执行器精度、手部结构、传感器位置、相机视场、关节回差和电池续航，都会影响最终效果。

例如，一个任务如果需要感知微小接触力，但硬件缺乏相应反馈，即使上层模型能够理解任务，也很难稳定执行。反过来，如果硬件具备良好的力觉与触觉能力，却没有合适的感知融合和控制策略，也无法充分发挥价值。

因此，企业应把“模型效果”放在完整系统中评估，而不是孤立地比较模型参数规模或演示复杂度。

---

六、企业引入物理智能时的实用评估框架

对于希望在制造、仓储、巡检、服务或实验环境中引入物理智能的团队，可采用分阶段策略。

第一阶段：选择低风险、高重复任务

优先选择流程稳定、物体种类有限、环境边界清晰的任务，例如固定工位搬运、规则化分拣、标准设备巡检等。这类任务更容易建立数据闭环，也便于量化投入产出。

不建议一开始就选择高度开放、长流程、强接触、强安全约束的任务，如复杂家务、精密装配或高风险维护。

第二阶段：建立可观测性体系

系统上线后，应记录每次任务的关键状态，包括：

• 输入指令；
• 感知结果；
• 规划路径；
• 控制指令；
• 动作执行时间；
• 异常告警；
• 人工干预原因；
• 最终任务结果。

结合日志服务、监控告警、对象存储、消息队列和容器平台等通用基础设施，可形成可追溯的运行闭环。只有看得见失败发生在哪里，才能持续提升系统可靠性。

第三阶段：以任务成功成本衡量价值

除了成功率，还应关注每次成功任务的综合成本：

[
Cost_{success}=\frac{设备成本+维护成本+能耗成本+人工介入成本}{成功完成的任务数量}
]

如果系统演示效果突出，但需要频繁人工接管、环境改造或高成本维护，其实际部署价值可能有限。反之，一个能力边界清晰、成功率稳定、维护成本可控的系统，往往更适合先行落地。

---

七、结语：规划能力正在快速普及，可靠执行仍是分水岭

物理智能的确正在迎来重要发展阶段。更强的模型使机器能够更好地理解语言、识别场景、生成计划，并把原本需要人工编排的任务流程转化为更自然的交互方式。

但从“能够描述如何完成任务”，走向“在真实环境中反复、安全、稳定地完成任务”，仍需要跨越接触操作、实时控制、异常恢复、数据闭环和系统工程等多重门槛。

因此，最值得关注的信息不应只是某次展示是否足够惊艳，而应包括：系统在陌生环境中的连续成功率如何、接触任务的失败模式是什么、出现误差后能否自行恢复、人工介入率是否下降，以及这些能力能否在长期运行中被持续验证。

当物理智能不仅会规划，而且能可靠地完成每一个细节动作时，真正的大规模应用才会到来。