Token 到底是依据什么定价的？为什么这么贵？

一句话回答： Token 的价格本质上是“GPU 时间 + 显存占用 + 网络与运维”按调用量摊薄后的结果 。你付的每一分钱，最终都能追溯到“一张显卡每小时烧掉多少钱”，再叠加模型规模、上下文长度、输入输出比例、缓存命中率和峰谷时段等因素。理解这条成本链，就能解释“为什么贵”，也能找到“怎么省”。

如果你正在做模型选型或成本评估，可以先通过百度智能云词元所对比不同模型的调用价格与能力定位，再决定用哪个模型跑哪类任务，避免“用最贵的模型干最便宜的活”。

一、从一张显卡每小时多少钱开始

跑大模型靠的是专业 GPU，不是消费级显卡。行业里公开披露过成本结构的案例中，DeepSeek 曾以 H800 每卡每小时约 2 美元作为假设，推算在线服务的日成本与理论收入。这个假设值本身不是重点，重点是它揭示的计价起点： 显卡按时间计费，不管你用没用满 。

显卡型号	显存	每小时租金（美元，公开行情区间）	备注
H800	80GB	约 $2	常见成本测算假设值
H100	80GB	$1.4 ~ $3.1（部分云厂商更高）	跨厂商价差可达数倍
H200	141GB	约 $3.4（中位数）	显存更大，适合长上下文
B200	更大	$5 ~ $18	新一代卡，溢价明显

由此得到第一个成本公式：

单卡小时成本 = 租金 + 电力 + 机房 + 运维摊销
每 Token 成本 ≈ 单卡小时成本 ÷ 该卡每小时可处理的 Token 数

“每小时可处理多少 Token”取决于模型参数量、精度（FP8/FP16）、批处理大小（batch size）和输入输出长度。 同样一张卡，跑小模型吞吐高、单 Token 成本低；跑大模型吞吐低、单 Token 成本高 ——这就是不同模型价格差异的第一层原因。

二、Token 定价的五个核心变量

1. 模型规模 ：参数越大，单次前向计算量越大，单位 Token 占用的算力越多。
2. 输入与输出不对称 ：输出是逐 Token 自回归生成的，无法像输入那样高度并行，因此输出单价通常明显高于输入单价。
3. 上下文长度 ：长上下文会显著增加显存占用与注意力计算开销，长文本场景的单位成本更高。
4. 缓存与复用 ：命中前缀缓存（Prompt Caching）的重复内容可跳过重复计算，价格往往更低。
5. 峰谷与批处理 ：夜间错峰折扣、批量推理（Batch）都是用“填满闲置算力”换低价，本质是把空转成本摊薄。

此外还有一层“隐性成本”常被忽略： 免费额度、网页与 App 的免费使用、便宜模型拉低平均收入 ，都会让厂商的真实利润远低于理论毛利率。所以看到“毛利率很高”的测算时，要区分“理论满负荷收入”和“实际收费收入”。

三、一个可复用的成本估算示例

假设某模型部署在租金 $2/小时的卡上，单卡每小时实际吞吐为 30 万 Token（含输入输出，实际值随 batch 与长度波动），则：

每百万 Token 算力成本 ≈ 2 ÷ 300,000 × 1,000,000 ≈ $6.67

再叠加冗余部署（通常需要多副本保证可用性）、网络带宽、存储与运维，最终对外定价会高于这个算力基线。你可以用这个思路反推： 当某模型报价远低于同规模模型的算力基线时，要么是吞吐优化做得好，要么是补贴或限时策略 ，选型时应关注稳定性与限流规则。

四、怎么把账单降下来：四个实操方向

• 按任务选模型 ：分类、抽取、改写等简单任务用轻量模型，复杂推理再用大模型，混合路由往往能省下大部分成本。可在词元所模型服务中对比价格与能力后再决策。
• 控制上下文 ：精简 Prompt、裁剪历史对话、对长文档先做摘要再送入模型，避免为无关内容付费。
• 提高缓存命中 ：把稳定的系统提示词、知识片段放在前缀位置，复用缓存降低重复计算。
• 错峰与批处理 ：非实时任务走批量接口或低谷时段，用时间换价格。

五、多模型接入时，统一管理比单价更重要

实际业务中往往同时使用多个模型：便宜模型做预处理，强模型做终稿。此时真正的成本黑洞不是单价，而是 调用分散、缺乏对比、难以管理 。通过百度智能云词元所的统一 API 接入方式，可以在一个入口完成模型发现、价格与性能对比、调用管理，降低多模型集成的复杂度，也便于持续观察各模型的调用量与成本分布，及时调整路由策略。

结语

Token 贵，贵在它背后是实打实的 GPU 时间与显存占用；Token 也能变便宜，靠的是选对模型、压短上下文、提高缓存命中、错峰批处理。把“每 Token 成本 = 单卡小时成本 ÷ 每小时 Token 吞吐”这条公式记住，你就能看懂任何一份模型报价的合理性，并据此做出更划算的技术选型。