长上下文与智能体选型：成本核算与幻觉控制指南

一、百万级上下文能带来什么改变？

早期大模型的上下文窗口多在4K到32K之间，例如早期GPT-3.5的4K版本和GPT-4的32K版本。近两年，Gemini 1.5 Pro等模型已支持百万Token级别的窗口。开发者可以把整个代码仓库、长篇技术文档或一段时间内的历史日志直接放进提示词，减少分块、向量检索和重排序等工程环节。模型也能在一次会话中保留更长的上下文，适合需要连续运行数小时的多步任务。

长上下文并非没有代价。输入越长，每次调用的费用越高，响应延迟也越大。上下文中的无关内容还会干扰模型判断，关键信息埋在大段文字中时，模型可能漏看。因此，是否全量注入要看任务本身。

二、多模态输入与纯文本输出如何分工？

部分模型可以接收高分辨率图表、界面截图和架构图，输出则集中在文本，例如代码、结构化JSON或分析结论。视觉编码器负责理解图像，文本解码器负责推理和生成。这种分工让数据分析和自动化开发的输出更容易被程序解析。

图像输入也有局限。小字号、低对比度的数字可能被误读。关键数值应让模型同时给出原图位置，并由人工复核，不能直接进入生产数据。

图像同样消耗Token，成本需要单独估算。多数厂商按像素把图片切成若干固定大小的块，每块折算为一定数量的Token，再加上一个基础值。估算公式可以写成：

图片Token数 ≈ 切块数 × 每块Token数 + 基础Token数

切块数由图片分辨率和厂商的切块规则决定，每块Token数和基础Token数以该厂商的官方文档为准。分辨率达到识别所需的水平后，继续提高只会增加成本，因此应先用样张测试最低可用分辨率。

三、单任务成本怎么算清楚？

评估模型升级时，应比较”单任务总成本”，而不是每百万Token的单价。计算方法如下：

单任务费用 = 输入Token数 × 输入单价 + 输出Token数 × 输出单价

每个成功任务的费用 = 单任务费用 ÷ 任务成功率

失败的尝试同样消耗Token，计算时必须计入。

下表是一组假设数字，用于演示计算过程。它不代表任何厂商的真实价格，使用时应替换为最新价目表和自己的任务日志。

项目	旧模型	新模型（示例）
输入单价（元/百万Token）	10	25
输出单价（元/百万Token）	30	75
单次任务输入Token数	3,000,000	1,000,000
单次任务输出Token数	600,000	200,000
单次任务费用（元）	48	40
任务成功率	60%	90%
每个成功任务的费用（元）	80	约44

在这组假设下，新模型的单价是旧模型的2.5倍，但单次任务费用低约17%，每个成功任务的费用低约44%。这个结论成立的前提是：新模型确实减少了Token消耗，并把成功率从60%提高到90%。如果新模型在你的任务中没有减少试错，结论可能相反。

对于只有一轮调用的简单问答，新模型的单价劣势会直接体现，这类场景应继续使用低价模型。

四、幻觉率怎么测，数字才有参考价值？

不同团队对”幻觉率”的定义差异很大，公开数字很难直接比较。测量时至少要说明四件事：使用的基准或题库（如SimpleQA，或团队内部的专业问答集），模型版本与调用参数（如温度、系统提示词），样本量，以及错误的判定规则。

建议把回答分为三类：正确、拒答、编造。幻觉率按”编造题数 ÷ 非拒答题数”计算，