agent-">大模型定价分层与Agent时代成本账

一、标价上涨的表象与结构

近期某旗舰模型新一代版本公布价格，输出侧从上一代约27元/百万token提升到100元/百万token，输入侧从6.5元（未命中）/1.1元（命中）调整到20元/2元。单看数字，输出接近4倍、输入约3倍，容易被概括为“全线上涨”。但如果只停留在标价对比，就会错过定价结构中真正值得关注的变化——不同档位之间的相对比值在重新设计。

先看两组比值：

• 未命中输入价与命中输入价之比：上一代约6倍，新一代拉大到10倍；
• 输出价与缓存命中输入价之比：上一代约25倍，新一代拉大到50倍。

这两组比值说明：缓存命中档涨幅最温和，输出档涨幅最激进。定价方在用价格信号做一件事——奖励前缀复用，惩罚长输出与冷启动输入。理解这一点，才能把标价换算成真实业务成本。

二、把标价换算成实际单价

标价是“每百万token”的名义价格，但真实成本取决于业务形态。设缓存命中率为 h，未命中输入价为 P_miss，命中输入价为 P_hit，则输入侧实际单价为：

P_in_eff = P_hit × h + P_miss × (1 - h)

以新一代价格代入（P_hit=2，P_miss=20）：

• h=90%：P_in_eff = 2×0.9 + 20×0.1 = 3.8 元/百万token
• h=20%：P_in_eff = 2×0.2 + 20×0.8 = 16.4 元/百万token

再考虑输入输出比 r（输入token数:输出token数），综合单位成本为：

C = (r × P_in_eff + 1 × P_out) / (r + 1)

两个典型场景：

场景A：企业级Agent，输入输出比20:1，缓存命中率90%
C ≈ (20×3.8 + 100) / 21 ≈ 8.4 元/百万token

场景B：低频散户开发者，输入输出比5:1，缓存命中率20%
C ≈ (5×16.4 + 100) / 6 ≈ 30.3 元/百万token

同一个模型，前者单位成本约为后者的三分之一到四分之一。表面“全线上涨”，实际是对高复用长上下文场景打折、对一次性冷prompt收原价甚至溢价的分层定价。

三、为什么缓存命中率能被做到90%以上

高命中率不是自然发生的，它依赖推理架构层面的支撑。分离式推理架构把预填充（prefill）与解码（decode）阶段解耦，KV Cache可以跨请求复用并集中管理，使得相同system prompt、相同工具定义、相同历史前缀的请求在预填充阶段几乎零成本。对于编程Agent这类“固定系统提示+大量重复上下文”的负载，命中率做到90%以上是架构设计的直接结果。

这也解释了定价逻辑的自洽性：既然缓存复用能显著降低服务端的算力与显存开销，价格上就应当把这份节省让渡给高复用用户，同时用较高的未命中价覆盖冷启动的真实成本。

四、Agent时代成本结构为何不同

对话时代一次交互几十到几千token，单价再高，绝对金额有限，用户对价格不敏感。Agent时代改变了这个前提：单个任务动辄数千步工具调用、几十万token消耗，数百个Agent并行运行数天。此时成本随上下文长度线性甚至超线性增长——显存占用、KV Cache存储、解码阶段带宽消耗都随上下文膨胀。

在这种负载下，若沿用对话时代的低价策略，长任务单次调用在推理侧是亏钱的。因此定价必须向“真实资源消耗”回归：输出贵，因为解码是逐token串行、带宽密集；未命中输入贵，因为预填充要真算；命中输入便宜，因为复用几乎免费。

五、给开发者的选型建议

1. 先估缓存命中率，再看标价。 固定system prompt、稳定工具schema、前缀可复用的Agent，实际输入单价可能只有标价的五分之一。
2. 控制输出长度比压输入价更有效。 输出档涨幅最大，精简回答、结构化输出、减少冗余解释对成本的边际收益最高。
3. 分离冷热路径。 把高频复用的上下文做成稳定前缀，把一次性内容后置，能显著抬高命中率。
4. 用综合成本做对比。 选型时按自身 r 与 h 代入公式计算 C，而不是比较名义单价。

def effective_cost(p_hit, p_miss, p_out, hit_rate, io_ratio):
    p_in = p_hit * hit_rate + p_miss * (1 - hit_rate)
    return (io_ratio * p_in + p_out) / (io_ratio + 1)
# 企业Agent场景
print(effective_cost(2, 20, 100, 0.9, 20))   # ≈ 8.4
# 低频散户场景
print(effective_cost(2, 20, 100, 0.2, 5))    # ≈ 30.3

六、结语

这轮价格调整的本质不是简单涨价，而是把定价从“对话时代的统一费率”推向“Agent时代的分层费率”：用缓存命中折扣绑定高复用企业负载，用输出与未命中溢价覆盖真实推理开销。对开发者而言，读懂比值变化比记住标价数字更重要——你的架构决定你的单价。在百度智能云等平台上构建Agent应用时，同样应把前缀复用、输出精简、冷热路径分离作为成本优化的第一优先级，让技术架构与计费结构对齐，才能在长任务、高并发的Agent场景中把单位成本压到可控区间。