十万卡级国产推理集群：从一则采购传闻看AI算力落地的结构性变化

近期，一则关于某模型团队规划在大型数据中心部署十余万颗国产下一代推理芯片的消息在技术圈流传。抛开消息本身的细节不谈，这个数字与”推理专用”的组合，本身就构成一个值得拆解的技术信号。本文不讨论具体厂商与交易，而是借这个由头，聊清楚三个问题：推理负载为什么与训练负载需要不同的硬件评价体系？十万卡级推理集群在工程上意味着什么？国产算力在推理赛道的突破口究竟在哪里。

一、先厘清概念：推理卡与训练卡不是同一道题

很多讨论把”算力”当成一个单一维度，动辄用峰值浮点性能做横向比较。这种比较在训练场景尚有一定参考价值，但在推理场景中会严重失真。

大模型推理分为两个性质截然不同的阶段：

• 预填充阶段（Prefill）：对输入的全部上下文做前向计算，生成 KV Cache。这一阶段是计算密集型，矩阵乘法的并行度高，对峰值算力敏感。
• 解码阶段（Decode）：逐 token 自回归生成，每生成一个 token 都要读取全部模型权重与 KV Cache。这一阶段是内存带宽密集型，算力往往吃不满，瓶颈在数据搬运。

一个直观的估算模型可以说明问题。解码阶段单个 token 的理论耗时下限可近似为：

t_token ≈ (模型权重字节数 + KV Cache 读取字节数) / 有效显存带宽

以常见的稠密模型为例，若权重以 FP16 存储，70B 参数模型约需 140GB 显存；在 MoE 架构下，单次前向激活的专家参数只占总量的一部分，实际读取量会显著低于全量权重，但对显存容量与带宽的要求依然很高。这正是为什么显存容量决定能装下多大的模型与多长的上下文，显存带宽决定单位 token 的生成速度，而峰值算力在解码阶段常常不是第一约束。

因此，一款为推理优化的芯片，其设计取向通常是：更大的显存容量、更高的显存带宽、合理的互联能力，算力指标反而可以适度让步。用训练卡的算力排行榜去评判推理卡，是用错了尺子。

二、十万卡级推理集群，工程上的真正难点

单卡指标只是起点。当一个推理集群从千卡走向十万卡量级，问题性质会发生变化。以下四个维度是评估此类方案时绕不开的：

1. 互联拓扑与通信开销

推理集群的通信模式与训练不同。训练中 All-Reduce 等集合通信是常态；推理中更常见的是请求分发、KV Cache 的跨节点传输（在分离式部署架构下）以及专家并行的 All-to-All。十万卡规模下，互联带宽与拓扑设计直接决定集群的有效吞吐。业界常见的做法是采用多层无收敛或低收敛的 Fabric，配合高速片间互联协议，把跨节点通信延迟压到可接受范围。评估时应关注单卡互联带宽、跨机架带宽收敛比、是否支持无损网络等通用指标，而非某个品牌的专有名词。

2. 显存容量与并行的权衡

显存容量决定了单卡能承载的模型分片大小与并发序列长度。容量不足时，需要更激进的张量并行，进而放大通信开销；容量充足时，可以用更少的卡承载更大的模型分片，降低并行维度。这里存在一个典型的工程权衡：

• 张量并行度越高，单层计算被切得越碎，通信占比越高；
• 流水线并行会引入气泡，降低设备利用率；
• 专家并行适合 MoE，但对负载均衡与路由效率提出更高要求。

十万卡集群的调度系统需要能根据模型结构、请求特征动态选择并行策略，这本身就是一个不小的软件工程课题。

3. 能耗与散热

原文提到数据中心功率达到吉瓦级，这个量级意味着供电与散热方案必须提前规划。单机柜功率密度上升后，风冷逐渐逼近物理极限，液冷（冷板式或浸没式）成为高密度推理集群的常见选择。评估时值得关注的通用指标包括：单卡功耗、机柜功率密度、PUE 目标、液冷覆盖率。这些指标直接决定长期运营成本，而推理业务恰恰是长期在线、成本敏感的负载。

4. 软件栈与生态成熟度

硬件到位只是第一步。推理集群的可用性取决于软件栈：算子库覆盖度、图编译与算子融合能力、量化与投机解码等推理优化技术的支持程度、与主流推理服务框架的适配情况。一个常见的实践路径是：

模型加载 → 图优化与算子融合 → 量化（INT8/FP8 等）→ KV Cache 管理
→ 批处理调度（连续批处理）→ 分布式推理编排 → 监控与弹性扩缩容

这条链路上任何一环的缺失，都会让纸面算力大打折扣。评估国产推理方案时，软件栈的完整度与社区活跃度，往往比单卡参数更值得关注。

三、为什么推理是国产算力的现实突破口

把视角拉高一点。训练集群对算力、互联、生态的要求最为苛刻，且训练任务对硬件差异的容忍度低——换一套硬件往往意味着重做大量调优。推理则不同：

• 负载形态更规整：主流推理服务的模型结构相对固定，量化、蒸馏、投机解码等优化手段成熟，对硬件微架构差异的敏感性低于训练。
• 成本压力更直接：推理是长期在线成本，单位 token 成本直接决定业务毛利。任何能降低单 token 成本的硬件方案都有现实吸引力。
• 规模化效应明显：推理集群可以通过水平扩展承载业务，对单卡极限性能的依赖相对弱，更看重吞吐/成本比与稳定性。

这也解释了为什么”推理专用 + 十万卡级 + 国产”这个组合值得关注：它标志着国产算力从”能跑通”走向”能规模化承接核心在线负载”，评价标准从”峰值指标”转向”单位成本与工程可用性”。

需要说明的是，这类规划通常有较长的交付周期，芯片量产、集群建设、软件适配都需要时间。对技术团队而言，更有价值的不是追逐某一则消息，而是提前建立一套评估框架：

1. 按负载类型选硬件：训练看算力与互联，推理看显存带宽与容量，不要混用评价体系。
2. 按集群规模看工程：千卡看单卡，万卡看互联，十万卡看调度、能耗与运维体系。
3. 按软件栈看落地：算子覆盖、量化支持、框架适配、可观测性，缺一不可。
4. 按单位成本看经济性：用”每百万 token 的综合成本”而非”每卡峰值算力”做决策。

结语

一则采购传闻的价值，不在于数字本身，而在于它折射出的结构性变化：推理正在成为AI算力消耗的主战场，而推理负载的特性，给了不同硬件方案同台竞技的空间。对于开发者和企业技术决策者来说，与其纠结于某一款芯片的参数高低，不如把上述评估框架沉淀为团队的方法论——无论最终选择哪条技术路线，这套框架都能帮你把”纸面算力”换算成”业务可用算力”。