具身模型空间锚定评测集的构型与实践

一、为什么具身模型需要“空间锚定”评测

具身智能的核心挑战之一，是把自然语言指令映射到真实物理空间中的具体位置与对象。用户说“把左边那个杯子递过来”，模型需要同时完成三件事：理解“左边”这一相对方位、确认“杯子”所指的物体类别、并在真实场景中完成定位。这三步中任何一步出现歧义，下游的抓取、导航或操作都会失败。

传统视觉问答评测难以覆盖这类能力。它们大多基于静态图片，答案是一段文本或一个类别标签，评测的是“识别得对不对”，而不是“指得准不准”。具身场景要求模型输出的是可执行的空间锚定结果——通常表现为边界框、分割掩码、三维坐标或导航目标点。评测体系必须与这种输出形态对齐，否则测出的分数无法反映真实部署表现。

空间锚定能力可进一步分解为几个可观测维度：

• 指代消解：把含歧义的自然语言描述绑定到唯一目标对象；
• 空间关系推理：处理“左侧”“后方”“靠近”“之间”等相对关系；
• 属性区分：在同类物体中依据颜色、材质、尺寸等属性做区分；
• 场景泛化：在未见过的场景布局与光照条件下保持稳定；
• 指令鲁棒性：面对口语化、省略、多轮修正的表达仍能正确锚定。

一个高质量的评测集，应当在这些维度上都有足够样本，并且任务分布贴近真实作业场景，而不是人工构造的理想样本。

二、评测集的构型设计

2.1 规模与任务划分

一个实用的机器人真实场景评测集，规模需要同时满足“统计有效性”和“可评测成本”两个约束。规模过小，单题方差会淹没模型差异；规模过大，评测成本与迭代周期不可接受。较为合理的量级在两千至三千题之间，例如2591道问题的规模，既能覆盖足够多的任务类型，又能在单机环境下于可接受时间内完成全量推理。

14类任务是这一规模下的典型划分方式，可按能力维度归并为几组：

能力组	典型任务类型	考察重点
单目标指代	唯一物体定位、属性限定指代	语言到实例的绑定精度
空间关系	相对方位、区域包含、序列关系	空间推理与坐标一致性
多目标与集合	同类多物体、成组操作目标	集合级锚定的完整性
场景理解	可操作区域、障碍物、容器	场景结构化理解
交互约束	抓取位姿相关区域、可达性	与下游执行的衔接
鲁棒性	口语化指令、省略表达、指代修正	指令泛化能力

任务划分的关键原则是“每类任务都能对应到明确的判定标准”。若某类任务的正确答案在标注者之间都难以一致，说明任务定义本身不清晰，应先修正定义再纳入评测集。

2.2 数据来源与标注规范

真实场景评测集的数据应来自实际作业环境，而非渲染合成场景。采集时需记录场景布局、相机内参外参、物体实例编号等元信息，以便评测时做坐标对齐与遮挡分析。

标注规范需要明确以下几点：

1. 锚定粒度：目标以边界框、掩码还是三维包围盒标注，取决于模型输出格式，评测集应提供可转换的中间表示；
2. 歧义处理：当指令确实存在多解时，标注应记录全部合法解，评测时按“命中任一合法解即正确”计分，而不是强行指定唯一解；
3. 否定样本：应包含少量“目标不存在”的样本，用于检测模型是否会在无目标时强行输出，这是真实部署中的常见失效模式；
4. 难度分层：按遮挡程度、目标数量、指令复杂度打标签，便于分层次报告结果，而不是只给一个总分。

2.3 评测指标

单一准确率不足以刻画空间锚定质量。建议同时报告：

• 锚定准确率：预测与标注的交并比超过阈值即判正；
• 严格匹配率：在更高交并比阈值下的通过率，反映定位精细程度；
• 误触发率：在否定样本上输出非空结果的比例；
• 分任务得分：按14类任务分别报告，避免总分掩盖短板；
• 一致性指标：同一场景不同指令表述下的结果稳定性。

下面是一段示意性的评测循环代码，展示如何组织分任务统计：

def evaluate(model, dataset, iou_threshold=0.5):
    stats = {}
    for sample in dataset:
        pred = model.predict(sample.image, sample.instruction)
        task = sample.task_type
        s = stats.setdefault(task, {"hit": 0, "total": 0, "fp": 0})
        if sample.is_negative:
            s["total"] += 1
            if pred is not None:
                s["fp"] += 1
            continue
        s["total"] += 1
        if pred is not None and iou(pred, sample.gt) >= iou_threshold:
            s["hit"] += 1
    return {
        t: {"acc": v["hit"] / max(v["total"], 1),
            "false_positive_rate": v["fp"] / max(v["total"], 1)}
        for t, v in stats.items()
    }

这段代码的重点不在实现细节，而在于强调“分任务统计 + 否定样本单独统计”的组织方式。总分只作为汇总指标，决策时应看分项。

三、评测流程的组织与结果解读

3.1 可复现的评测流程

要让评测结果具备可比性，流程必须固定：

1. 固化推理配置：图像分辨率、提示模板、解码策略、是否使用外部工具，全部写入配置文件并随结果一同归档；
2. 统一坐标体系：所有预测结果转换到同一坐标系后再计算指标，避免因输出格式差异造成误判；
3. 分层报告：按任务类型、难度等级、场景类别三个维度交叉报告；
4. 重复评测：对随机性来源（采样、增强）固定种子，必要时多次运行取均值与方差；
5. 第三方复核：自建评测集的分数由建设方自己报告时，天然存在选择性偏差，应保留原始预测结果供外部复核。

3.2 如何看待“领先若干分”的结果

在两千余题规模、单题正确率约九成的水平上，几个百分点的分差是否显著，需要做统计检验。粗略估算，若总体准确率在0.9附近，两千余样本的标准误约为：

SE ≈ sqrt(0.9 * 0.1 / 2591) ≈ 0.0059

即约0.6个百分点。三点多的分差在统计上通常可认为有区分度，但仍需注意两点：其一，分差可能集中在少数任务类型上，需看分项而非总分；其二，自建评测集的题目分布由建设方决定，若分布偏向自身模型擅长的任务，总分优势会被放大。

因此，理性的结论表述应是：在特定评测集与特定配置下，某模型在14类任务中的多数类别取得更高锚定准确率，总分差异具有统计意义；该结论仍需在独立构建的评测集上复现，才能作为普适性结论。

3.3 常见失效模式分析

分项结果往往比总分更有信息量。实践中常见的失效模式包括：

• 属性混淆：同类多物体场景下，模型锚定到正确类别但错误实例，这类错误在单目标任务上不可见，只在多目标任务上暴露；
• 方位反转：以观察者为中心与以场景为中心的空间参照系混用，导致“左/右”系统性出错；
• 过度自信：否定样本上输出非空结果，反映模型缺乏“无目标”的判别能力；
• 长指令衰减：指令中包含多个约束时，靠后的约束被忽略。

针对这些模式，改进方向通常是增加对应任务的训练数据配比、在损失中加入实例级区分项、以及引入显式的“无目标”判别头。评测集的价值正在于把这些失效模式稳定地暴露出来。

四、落地建议

对计划构建或使用此类评测集的团队，建议如下：

1. 先定义判定标准，再采集数据。判定标准不清晰的任务，标注成本会成倍上升且结果不可信；
2. 保留原始预测产物。只保留分数会让后续的误差分析无法开展；
3. 把否定样本纳入常规评测。真实部署中“不该动的东西不动”与“该拿的拿到”同等重要；
4. 分项驱动迭代。以任务类型为单位跟踪版本间变化，比跟踪总分更能定位回归；
5. 自建集与公开集并用。自建集贴近业务分布，公开集提供外部可比性，两者缺一不可。

空间锚定是具身模型从“看懂”走向“做对”的关键一环，评测集的构型质量直接决定了迭代方向是否准确。把评测当作一项需要工程化设计的能力，而不是一次性的跑分动作，才能真正支撑模型在真实场景中的稳定表现。