算力太烧钱：AI智能体为何撑不起“不限量”承诺

一、事件回放：额度没变，但用户“不够用了”

近期，某科技公司旗下一款AI智能体产品遭遇集中吐槽：多位订阅用户反映，每周使用额度的消耗速度明显加快，部分用户在距离额度重置还有几天时，就已经把全部额度用光。一位用户在社交平台晒出截图——额度已消耗100%，而距离下次重置还有四天——并公开询问能否手动重置额度。

该产品所属公司负责人随后公开回应，直言“相对于收入而言，这项服务的成本过高，难以为继”，等于承认当前的定价与额度体系，覆盖不住真实的算力开销。

值得注意的背景是：这款智能体上线仅两个月左右，定位于依托虚拟计算机替用户完成购物、订票等实际任务；套餐从免费档到每月数百美元不等，且所有档位都设置了每周重置的使用限额。事实上，“限额”是当前智能体产品的行业通行做法——多家厂商的同类产品都采用类似机制，目的正是避免个别用户产生巨额算力账单，拖垮整体服务的可用性。这次风波的特殊之处在于：厂商第一次如此直白地承认，限额的根源不是技术保守，而是成本压力。

二、需求端：爆发式增长反而成了“幸福的烦恼”

从公开数据看，这款产品的需求端毫无问题：日活跃用户在约两个月内从不足十万增长到超过六十万，创下发布以来最长的连续增长纪录；其负责人此前也公开表示，该产品的用户增速超过他见过的任何一款产品。

但恰恰是这种爆发式增长，放大了成本端的压力。智能体产品的成本结构与普通应用不同，用户量的增长并不是线性地转化为服务器开销，而是通过“任务复杂度 × 调用次数 × 模型规格”三重因子被放大。需求越旺，GPU集群越满，账单越厚。这也让一个行业级问题浮出水面：人工智能革命中最大的疑问之一，从来不是“有没有人用”，而是“这门生意能不能算得过账”。至少从这次事件看，需求不是问题，成本才是。

三、成本端：AI服务为什么做不到“边际成本为零”

理解这次额度风波，需要先理解AI服务与传统软件在成本结构上的根本差异。

1. 两条完全不同的成本曲线
   传统互联网产品的边际成本趋近于零：多一个用户，多占用一点带宽与存储，计算资源可以高度复用。而AI服务中，每一次对话、每一次任务执行都会触发真实的GPU推理——输入要编码，输出要逐token生成，长上下文还会让注意力计算的开销进一步上升。用户越多，GPU烧得越多，成本几乎与用量成正比。

2. 智能体是天然的“成本放大器”
   与单轮问答相比，智能体为了完成一个任务，往往要经历规划、拆解、调用工具、观察结果、修正重试的循环。一次用户请求的背后，可能是数十次模型调用、多轮长上下文传递，以及沙箱环境的持续驻留。这意味着智能体的单任务算力消耗，可能达到普通对话产品的几十倍。用户感觉“额度消耗变快”，技术上的合理解释之一正是：产品越聪明，内部循环越多，单个任务实际烧掉的token就越多。

3. 硬件供给的刚性约束
   高端推理与训练芯片长期供不应求，采购或租赁价格高企，数据中心还叠加电力、冷却与运维成本。可用一个简化的公式刻画单用户的月度成本：

单用户成本 ≈ 人均任务数 × 单任务token量 × 单token推理成本 + 固定资源摊销

当用户端定价被获客竞争压得很低、而算力端成本居高不下时，这把“价格剪刀差”意味着：用户规模越大，亏损窟窿扩张越快，“不限量”承诺在商业上几乎不可能成立。

四、额度与限流：智能体服务的工程必修课

既然成本无法消除，工程上就必须回答：如何公平、透明、可控地分配稀缺的算力资源？答案是配额体系与限流设计。

1. 常见限流算法
   限流的本质是控制请求速率，常见方案包括固定窗口计数、滑动窗口、漏桶与令牌桶。其中令牌桶因同时支持“平稳速率 + 允许突发”，最常用于API与智能体调度场景。示意代码如下：

import time
class TokenBucket:
    """令牌桶限流：平稳速率 + 允许突发"""
    def __init__(self, capacity: int, refill_per_sec: float):
        self.capacity = capacity              # 桶容量，决定允许的突发量
        self.tokens = float(capacity)         # 当前剩余令牌
        self.refill_per_sec = refill_per_sec   # 每秒补充速率
        self.last_ts = time.monotonic()
    def allow(self, need: float = 1.0) -> bool:
        now = time.monotonic()
        self.tokens = min(self.capacity,
                          self.tokens + (now - self.last_ts) * self.refill_per_sec)
        self.last_ts = now
        if self.tokens >= need:
            self.tokens -= need
            return True
        return False
# 示例：限制单用户每秒最多2次模型调用，允许10次突发
bucket = TokenBucket(capacity=10, refill_per_sec=2.0)
if bucket.allow():
    dispatch_model_call(user_id, task)
else:
    raise RateLimited("请求过于频繁，请稍后重试")

1. 从“限次数”到“按点数计额”
   单纯的调用次数并不能反映真实成本——一次复杂的多步任务与一次简单问答，消耗可能相差百倍。更合理的做法是引入“点数”体系：按模型规格、上下文长度、工具调用步数为每次执行加权计费，额度按点数而非次数扣减。执行环节采用“预扣 + 结算”两段式，避免任务跑完才发现预算超支：

def run_task_with_quota(user, task):
    # 1. 预估点数：模型规格 × 上下文长度 × 预计步数
    est = estimate_points(task)
    # 2. 预扣额度：失败即拒绝，避免"跑完才超支"
    if not quota.reserve(user.id, est):
        raise QuotaExceeded("本周额度不足，可升级套餐或等待重置")
    try:
        result = agent.execute(task)
        # 3. 实际结算：多退少补
        quota.settle(user.id, est, points_of(result.usage))
        return result
    except Exception:
        quota.rollback(user.id, est)   # 异常时回滚预扣
        raise

1. 不可忽视的成本可观测性
   额度系统的另一面是观测能力。借助统一的日志服务与监控告警，团队应当能随时回答：单用户平均成本是多少、单任务平均成本是多少、消耗最多的任务类型分布如何、不同套餐档位的毛利状况怎样。缺少这些指标，额度调整就只能“拍脑袋”，也极易引发用户对“暗改规则”的质疑。在工程实践中，百度智能云等公有云平台提供的GPU算力、容器平台与监控告警类通用能力，可以帮助团队较快搭起弹性、可观测的推理服务体系。

五、产品设计：让额度规则从“暗坑”变成“仪表盘”

这次风波中用户最不满的，其实不是“有限额”本身，而是规则不透明带来的落差感。从产品设计角度，至少有几点最佳实践值得遵循：

• 实时用量仪表盘：展示剩余额度、本周期已消耗，以及每个任务的实际消耗明细；
• 分级预警：消耗达到80%、95%时主动提醒，而不是用尽后突然拦截；
• 扣减口径透明：公开点数计算规则，规则调整提前公告，杜绝“悄悄加权”；
• 梯度降级：额度将尽时自动切换到更小的模型或降低并发，而不是硬性拒绝；
• 自助通道：提供一次性额度补偿或付费加购，把选择权留给用户。

把额度从黑盒变成仪表盘，成本压力依然存在，但用户体验的确定性会显著提升。

六、商业可持续：从“烧钱换增长”到“算清单任务经济账”

一位前员工在事件发酵后的评论颇具代表性：“两周前它还是营收增长的强大引擎，如今却难以为继、甚至开始亏损。”另有评论翻出该公司负责人几天前的另一条发言——大意是与其为遥远的未来储蓄，不如全力拥抱即将到来的超级智能——两相对照，颇具讽刺意味。这背后指向的，是整个行业绕不开的单位经济问题：如果用户的生命周期收益跑不赢“获客成本 + 推理成本”的合计，需求越旺，烧钱越快。

要让智能体业务真正可持续，通常有四条路径可以并行推进：

1. 模型侧降本：通过模型蒸馏、量化（如INT8/INT4）、KV缓存、投机解码、批处理调度等成熟技术，在不显著损失效果的前提下压低单次推理成本；
2. 架构侧提效：按任务难度做分级路由——简单请求交给小模型，复杂任务才动用旗舰模型；对高频场景引入上下文缓存与结果复用，避免重复计算；
3. 商业侧重估定价：从“低价获客 + 限额兜底”走向“按价值计费”，例如按完成的任务成果计费、按API调用量分层定价，让价格曲线贴合成本曲线；
4. 运营侧精细核算：把“单任务成本”“单用户成本”提升为与延迟、准确率同等级的一等指标，纳入日常经营决策，用数据而非直觉来调整额度与价格。

行业仍处早期，短期以亏损换规模并不罕见；但如果单位经济模型始终无法转正，再旺盛的需求也只是加速燃烧的助燃剂。

七、结语

这次额度风波更像一面镜子：照出的不是某一家公司的失误，而是整个智能体行业从“演示效果”走向“真实经营”时必然经历的阵痛。对用户而言，“不限量”从来不是物理规律，而是算力经济学允许之下的营销话术；对从业者而言，只有把成本当作一等设计约束，让配额、限流、观测、定价四位一体协同演进，AI智能体这门生意才能走得长远。