视觉原语还是图像思考：多模态模型感知路线解析

一、背景：模型频繁发布，评测要看“证据链”

多模态大模型的发布节奏越来越快，一个新版本往往同时带来四个信息层次：官方宣传、论文声明、网页演示与开源权重。这四者并不总是一致——论文里效果惊艳的示例，网页端未必能复现；网页端的行为，也未必等同于开源权重的真实能力。对开发者而言，与其纠结宣传物料，不如建立一套自己的评估流程，让结论落在可复现的证据上。

本文以一次针对某开源多模态实验版本的评测实践为主线，梳理一条完整的评估路径：先厘清概念，再做静态分析，最后动态复现，并顺带谈谈配套工具链的工程体验。

二、先厘清两个概念：感知鸿沟与指代鸿沟

要理解多模态模型的视觉推理瓶颈，需要区分两个层面的问题。

第一层是“感知鸿沟”（Perception Gap）：受视觉编码器的输入分辨率、patch划分粒度等限制，模型“看不清”图像细节。随着视觉编码器的持续进步，这一鸿沟在多数常规场景下已被显著压缩。

第二层是“指代鸿沟”（Reference Gap）：即使模型已经“看清”了图像，它在推理时仍然要用自然语言去描述和指代图像内容。“左上角那个人”“第三排靠右的那个目标”这类表述天然存在歧义。在密集计数、复杂物体定位这类任务中，一旦推理链条拉长，模糊指代不断累积，逻辑就会崩溃——数人头数到二十几个之后开始重复或遗漏，就是典型症状。

相关研究（如“以视觉原语思考”这一方向）给出的判断是：当感知鸿沟被逐步填平后，限制多模态识别能力的短板已经不在图像之中，而在“用自然语言描述图片”这一思考方式本身。

三、两条技术路线：视觉原语与图像思考

针对指代鸿沟，业界出现了两条有代表性的路线。

路线一：视觉原语（Visual Primitives）。核心思想是为模型引入一套“无歧义指针”，让它在连续的视觉空间中精确描述物体。典型实现是在词表中扩展结构化特殊token，例如：

• <|point|> ... <|/point|>：以坐标精确指代一个点；
• <|box|> ... <|/box|>：以矩形框锁定一个区域；
• <|polygon|> ... <|/polygon|>：以多边形刻画不规则轮廓。

这些几何结构天然无歧义、可组合、可验证——把模型吐出的坐标投影回原图，正确与否一目了然。对于密集计数、精确定位、轨迹规划等任务，这条路线在机制上更有优势。

路线二：图像思考（Thinking with Images）。这是更经典的路线：模型在推理过程中直接生成或操作图像，例如裁剪放大关注区域、在图上叠加标注、绘制规划路径。它直观、符合人类“看图思考”的习惯，但依赖图像生成质量，多轮交互会拉长推理链路，中间产物也不易审计。

两条路线并非互斥。一个模型可以在架构层面支持视觉原语，同时在某个具体场景（比如智能体任务）的图像处理流程中走图像思考路线。这种“架构与行为分离”的现象，恰恰是评测时最值得关注的信号。

四、静态分析：用tokenizer.json做“技术考古”

开源模型的一大好处是：不用黑盒猜测，可以直接做“技术考古”。第一步就是看分词器配置。

import json
with open("tokenizer.json", encoding="utf-8") as f:
    tokenizer = json.load(f)
special_tokens = [
    t["content"]
    for t in tokenizer.get("added_tokens", [])
    if t.get("special", False)
]
for tok in special_tokens:
    print(tok)

如果输出中出现成对的几何token（point/box/polygon及其闭合形式），说明模型词表为结构化视觉指代预留了表达通道，架构层面支持视觉原语式的输出；如果只有通用的图像占位符而没有任何几何token，则更可能采用纯自然语言加图像操作的图像思考路线。

两点注意：

1. 词表里有token，不等于运行时一定启用该能力。特殊token是必要条件，不是充分条件，最终还要靠行为验证。
2. 成对的开闭标签是更强的证据。闭合token通常意味着模型被训练过生成结构化区间，其证据强度高于孤立token。

这次评测的结论就经历了反转：最初基于智能体的黑盒行为，判断其放弃了视觉原语式的图像处理方案、转向更经典的图像思考路线；开源之后检查分词器，发现几何特殊token一应俱全，说明视觉原语路线在词表层面是存在的。行为证据与词表证据指向不同方向，恰恰说明单靠黑盒测试判断技术路线并不可靠，必须静态与动态证据结合。

五、动态复现：三类高区分度任务

静态分析之后，需要动态验证。以下三类任务对指代鸿沟高度敏感，区分度高，适合作为自建基准的核心。

1. 密集计数：选取人群、点阵、密集排布物体的图像，要求模型给出总数。自然语言指代在长链条计数中极易重复或遗漏——论文示例中25人的队伍，在网页演示中被数成27人，就是典型的指代漂移。

2. 精确定位：要求模型返回目标的坐标或边界框，再把坐标回投到原图核对：

def verify_localization(raw_output, image):
    boxes = parse_boxes(raw_output)       # 解析模型输出的结构化坐标
    annotated = draw_boxes(image, boxes)  # 坐标回投到原图
    return annotated                      # 人工核对或与标注集自动比对

3. 路径规划：迷宫导航是经典测试——论文中宣称可完成的迷宫路线规划，在网页端完全失效，说明演示环境与受控环境之间存在明显差距。自建迷宫数据集可以批量暴露这类问题。

复现时务必固定变量：使用开源权重本地部署，固定解码参数与随机种子，统一prompt模板。否则计数从25漂移到27，你无法判断是模型问题还是环境问题。

六、工具链体验：harness同样是模型能力的一部分

评测多模态模型，还要面对它的配套运行环境——命令行智能体工具（harness）。这次实践中的一个插曲很有代表性。

按照官方教程配置模型名，命令行怎么都跑不通；排查后发现，问题根本不在配置写法，而在于本地安装的工具版本落后于文档描述，需要先通过包管理器全局升级，再以指定运行档位启动：

<包管理器> update -g <智能体命令行工具>
<智能体命令行工具> --profile <运行档位>

而且部分工具实际读取的是JSON配置文件来设定模型名，但文档对此只字未提——这类“文档与实现脱节”的问题，在快速迭代的开源工具中相当普遍，也常常被误判为模型能力缺陷。

这个插曲背后有一个更重要的观察：模型在智能体场景下的实际表现，很大程度上由harness的取舍决定。同一个模型，harness走图像思考路线还是视觉原语路线，用户感受到的能力差异可能比模型本体的差异还大。换句话说，模型的真实能力 = 模型本体 × 工具链。评估一个模型，不能只测权重，也要测它周围的工程配套。

七、一套可复用的评估流程

把前面的实践抽象成流程，可以沉淀为四步：

1. 静态检查：下载开源权重，检查tokenizer的特殊token与模型结构配置，判断架构层面的能力预留；
2. 动态复现：围绕计数、定位、导航三类任务自建小基准，固定解码参数，记录坐标级结果并回投验证；
3. 一致性比对：把论文声明、网页演示、本地部署三者的结果放在同一张表里对比，标注每一处不一致，并区分“能力问题”与“环境问题”；
4. 工具链验证：确认harness的版本、配置方式与文档一致，避免把配置问题误判为模型缺陷。

如果评测需求要规模化——比如团队需要持续跟踪多个版本的回归——可以进一步工程化：测试图像集统一托管到对象存储，评测流水线跑在容器平台上保证环境一致，结果写入日志服务，异常通过监控告警追踪。这些通用云服务类目在主流云平台（例如百度智能云）均有对应产品，按需组合即可搭建一条可长期维护的评测流水线。

八、总结

回到最初的问题：这个多模态模型到底装备了什么？综合静态与动态证据，可以给出分层的答案——词表层面，几何特殊token齐全，视觉原语的表达通道是存在的；行为层面，智能体场景的图像处理又呈现出图像思考的特征。这种分离本身就是重要结论：harness对模型实际能力的塑造作用，可能超出很多人的预期。

对开发者的方法论启示有三条：一是用tokenizer做低成本的技术考古，先看词表再谈行为；二是用计数、定位、导航三类高区分度任务做动态复现，让结论落在坐标级证据上；三是把工具链纳入评测范围，模型本体与harness要一起测。毕竟，用户最终体验到的是两者相乘的结果，而不是任何单独一环。