具身智能Harness：统一机器人控制与训练链路

一、为什么机器人需要统一Harness

在文本问答、代码生成等场景中，大模型通常只需要输出文字或结构化结果。但机器人系统不同，模型最终要面对真实环境中的位置、姿态、力反馈、视觉信息和连续动作。模型输出的每一次决策，都可能影响机械臂、移动底盘或其他执行机构的状态。

如果让大模型直接适配每一种机器人，系统很快会出现几个问题：

1. 接口不统一：不同设备的控制指令、传感器格式和坐标系各不相同。
2. 环境难复用：仿真环境与真实设备的数据结构不同，训练好的策略迁移成本较高。
3. 调用链路复杂：一次任务可能需要反复读取图像、查询状态、规划动作和验证结果，调用次数迅速增加。
4. 经验难以沉淀：机器人执行任务过程中产生的大量轨迹、失败案例和环境反馈，往往停留在日志层面，无法有效用于后续训练。
5. 系统难以评估：如果没有统一的任务描述和指标体系，不同模型、不同机器人之间很难进行公平比较。

Harness可以理解为连接“大模型决策能力”和“机器人执行能力”的中间层。它并不是单纯的控制程序，而是一套面向任务执行的基础设施，负责工具注册、状态管理、动作转换、错误处理、数据采集和评测编排。

二、核心目标：把设备差异隐藏在适配层中

一个合理的具身智能Harness，通常可以拆分为五个层次。

1. 设备适配层

设备适配层负责连接具体机器人和传感器，将不同厂商、不同型号的底层协议转换为统一的数据格式。

例如，上层不应该关心某个关节控制器使用何种通信方式，而只需要获得类似下面的标准化状态：

{
  "position": [0.12, -0.31, 0.48],
  "orientation": [0.01, 0.72, 0.02, 0.69],
  "joint_state": [0.2, -0.4, 0.8],
  "gripper": 0.35,
  "timestamp": 1710000000
}

同理，模型也不应直接生成底层电机指令，而应该输出具有明确语义的动作，例如“移动到目标位姿”“闭合夹爪”“沿指定轨迹移动”等，再由执行层完成轨迹插值、速度限制和底层控制。

2. 工具抽象层

大模型需要通过工具与外部世界交互。常见工具包括：

• 获取摄像头图像；
• 查询机器人当前状态；
• 读取场景中的目标物体；
• 执行移动或抓取动作；
• 检查任务是否完成；
• 保存当前轨迹；
• 回滚到安全状态。

工具描述应尽量稳定，参数应具备明确的类型和约束。例如：

{
  "name": "move_to_pose",
  "description": "将执行器移动到指定目标位姿",
  "parameters": {
    "target": "目标位姿",
    "speed_limit": "速度上限",
    "collision_check": "是否执行碰撞检查"
  }
}

这里的重点不是工具数量，而是工具语义是否清晰。工具过少，模型缺乏完成任务所需的操作能力；工具过多，则会增加决策复杂度和错误概率。因此，实际系统通常会根据任务类型动态暴露工具集合。

3. 任务编排层

任务编排层负责控制完整执行流程，包括任务拆解、观察、决策、动作执行和结果验证。

一个典型循环如下：

接收任务
  ↓
读取环境状态
  ↓
生成下一步动作
  ↓
执行动作并等待反馈
  ↓
验证动作结果
  ↓
成功则结束，失败则重试或重新规划

与一次性生成完整动作序列相比，这种闭环机制更适合动态环境。因为真实场景中的物体可能发生位移，传感器可能出现噪声，动作也可能因为碰撞或遮挡而失败。

4. 数据管理层

数据管理层用于保存任务上下文、观察结果、动作轨迹、错误信息和最终评价。它既要支持在线执行，也要为离线训练提供数据。

一条完整轨迹至少应包含：

• 任务目标；
• 初始环境状态；
• 每次观察内容；
• 模型决策；
• 实际执行动作；
• 执行后的状态变化；
• 成功或失败原因；
• 任务耗时和资源消耗。

如果只保存最终成功与否，而不记录中间过程，就很难分析模型为什么失败，也无法针对性优化。

5. 评测与监控层

评测层负责统一统计任务成功率、平均步数、动作延迟、重试次数、碰撞次数和单位任务成本等指标。监控层则关注系统运行状态，例如传感器是否掉线、动作是否超时、模型调用是否异常。

这两个模块应当与任务执行解耦，否则研发人员很难比较不同模型或不同控制策略的实际差异。

三、开源模型直接控机的价值与边界

近年来，一些国产开源模型开始被用于机器人任务规划和动作决策。与完全依赖闭源模型的方案相比，开源模型具有一定优势。

首先，模型部署位置更加灵活。企业可以根据数据敏感程度选择本地部署、私有环境部署或混合部署，降低关键视觉数据和操作轨迹外流的风险。

其次，模型更容易进行领域适配。机器人任务通常需要理解特定物体、工艺流程和操作规范。通过监督微调、偏好优化或轨迹数据训练，可以让模型逐步适应具体场景。

再次，调用成本更加可控。机器人任务往往不是一次推理就能完成，而是需要多轮观察和行动。如果每个动作都依赖远程调用，延迟和费用会随任务复杂度增长。将部分推理能力放在本地，可以减少网络往返，并提高系统稳定性。

不过，开源并不意味着天然可靠。模型是否适合机器人，还需要综合考察：

• 是否能稳定输出结构化动作；
• 是否理解空间关系和时间顺序；
• 是否能根据反馈修正计划；
• 是否具备较低的幻觉率；
• 是否支持足够快的推理速度；
• 是否能在有限硬件资源上运行。

因此，不能只看某次公开评测的总分。公开基准只能反映特定任务集合中的表现，不能直接等同于真实生产环境中的可靠性。

四、如何解决高频调用带来的成本问题

机器人任务中的调用成本，通常由三个因素决定：单次推理价格、上下文长度和调用次数。

降低成本不能只依靠更换模型，还可以从系统设计入手。

1. 减少无效观察

并非每一步都需要完整读取高分辨率图像。对于连续移动任务，可以先使用低频状态更新；只有接近目标、出现异常或需要精确抓取时，再提高观察频率。

2. 分离快慢路径

对于避障、关节限位和急停等操作，应由本地控制器或规则模块处理，不必交给大模型。大模型更适合进行高层任务规划，而不适合承担每毫秒一次的底层控制。

3. 缩短上下文

任务历史应采用摘要、状态压缩和关键事件保留等方式管理。没有必要将所有原始图像和完整动作记录反复发送给模型。

4. 引入动作缓存

对于重复性较高的子任务，例如移动到固定位置、抓取常见物体，可以复用历史轨迹或技能策略。只有遇到不确定情况时，才重新请求大模型规划。

5. 采用分级模型策略

简单任务可由轻量模型完成，复杂任务再交给能力更强的模型处理。这样既能保证复杂任务的成功率，也能控制整体推理成本。

五、让机器人经验真正反馈到模型训练

机器人系统最有价值的数据，往往不是一次成功的演示，而是大量包含环境变化和失败原因的执行轨迹。

Harness应当建立完整的数据闭环：

任务定义
  ↓
机器人执行
  ↓
采集观察、动作与反馈
  ↓
自动标注成功和失败片段
  ↓
人工复核关键样本
  ↓
训练或优化策略
  ↓
在仿真与真实环境中回归测试

对于失败数据，需要进一步分类。例如：

• 目标识别错误；
• 坐标变换错误；
• 路径规划失败；
• 抓取姿态不合理；
• 执行动作超时；
• 环境状态发生变化；
• 模型未正确理解任务目标。

不同类型的失败，对应不同的优化方法。识别错误需要改进视觉处理，规划错误需要补充轨迹示例，执行错误则可能需要调整控制参数或安全约束。

需要注意的是，机器人经验不能未经筛选就直接用于训练。错误轨迹、传感器异常和不安全动作必须经过过滤，否则模型可能学习到错误行为。

六、安全机制必须独立于大模型

大模型可以提出动作建议，但不应拥有绕过安全边界的权限。实际系统至少需要设置以下保护：

1. 速度和加速度限制；
2. 关节角度与工作空间限制；
3. 碰撞检测与距离阈值；
4. 危险区域禁入规则；
5. 动作超时自动停止；
6. 异常状态下的人工接管；
7. 所有动作的审计与回放能力。

安全模块最好位于动作执行链路的最后一层，对模型输出进行校验。即使模型产生格式正确但物理上不可执行的动作，也必须被拦截。

七、评测体系不能只看任务成功率

一个成熟的机器人Harness，应建立多维度评测体系：

• 成功率：任务是否达到目标；
• 稳定性：重复执行时结果是否一致；
• 效率：完成任务所需步数和时间；
• 成本：模型调用、计算资源和人工介入成本；
• 安全性：碰撞、越界和紧急停止次数；
• 泛化能力：更换物体、位置或环境后是否仍然有效；
• 恢复能力：发生失败后是否能够重新规划；
• 可解释性：是否能追踪每次决策依据。

评测还应区分仿真结果与真实设备结果。仿真环境便于快速迭代，但可能无法完全反映摩擦、延迟、遮挡和机械误差。只有经过逐步迁移和现场验证，才能判断方案是否具备实际应用价值。

八、结语

具身智能的关键，不只是选择一个更强的模型，而是建立一套可连接、可执行、可观测、可训练和可评估的系统基础设施。Harness通过统一设备接口和工具协议，把机器人、仿真环境、模型与数据闭环连接起来，使大模型从单纯的对话引擎转变为能够持续感知和行动的任务智能体。

未来的重点将集中在三个方向：一是进一步降低多轮决策的延迟与成本；二是让失败经验能够高质量地转化为训练数据；三是构建独立、可靠且可审计的安全控制体系。只有同时解决这三个问题，机器人智能体才可能从实验性演示走向稳定、规模化的工程应用。