万亿MoE大模型本地部署需要多少算力预算

过去一年，开源大模型的参数规模从千亿级稳步跨入万亿级稀疏MoE时代。对开发者而言，模型开源只是起点，真正棘手的问题在于：要把这样一个庞然大物跑起来，到底需要多少机器、多少钱？ 本文不针对任何具体产品做测评，而是以万亿参数稀疏MoE模型为对象，给出一套可复用的本地化部署评估方法。

一、先看清部署对象的三个基本属性

讨论预算之前，必须先明确模型本身的资源特征。任何脱离架构谈硬件的估算都是耍流氓。对于一个典型的万亿级稀疏MoE模型，需要关注三个维度：

1. 总参数与激活参数

万亿级MoE的总参数量通常在2万亿~3万亿之间，但单次推理实际激活的参数量可能只有几十亿到一两百亿。这决定了算力需求（由激活参数主导）与显存需求（由总参数主导）之间存在巨大落差。

2. 权重精度与存储占用

如果权重以原生低精度格式（如4比特浮点量化格式）发布，则存储需求约为：

存储占用 ≈ 总参数量 × 每参数字节数
2.8T 参数 × 0.5 Byte ≈ 1.4 TB

再加上分片元数据、量化缩放因子等开销，实际落盘体积通常比理论值高10%左右。这是纯权重的最小占用，不包含KV Cache和运行时缓冲区。

3. 上下文窗口与注意力结构

百万级Token上下文窗口意味着KV Cache会随并发数和序列长度迅速膨胀。如果模型采用线性注意力与稀疏注意力混合的架构，长上下文下的显存增长曲线会明显优于标准全注意力，但依然不能忽略。多Token预测（MTP）等技术的引入，也会影响吞吐与显存之间的权衡。

二、显存测算：决定“最少几台机器”

显存是硬门槛，算力是软约束。先算显存。

假设单张加速卡的有效显存为80GB（这是当前高带宽显存卡的常见规格），那么承载1.4TB权重至少需要：

1.4 TB / 80 GB ≈ 18 张卡

但这只是把权重塞进去。实际运行还需要：

• KV Cache：按并发请求数和上下文长度动态占用，通常预留20%~30%显存；
• 激活值与临时缓冲区：MoE路由、All-to-All通信缓冲区等；
• 框架开销：推理引擎自身的内存管理、图捕获等。

综合下来，权重显存的安全系数建议取1.5倍以上，即至少需要约27张80GB卡。考虑到单机通常8卡，这意味着最少需要4台8卡节点才能勉强加载。但“能加载”不等于“能服务”——没有余量应对并发，一压就崩。

如果采用更高显存规格的加速卡（如单卡141GB），单机8卡即可提供超过1.1TB显存，配合权重分片和CPU卸载可以降低节点数，但卸载会显著牺牲吞吐。

三、算力测算：决定“跑得多快”

稀疏MoE的算力需求由激活参数决定。假设单次Token激活约50B参数，以BF16计算，每个Token约需：

50B × 2 FLOPs/参数 × 2（前向+部分反向，推理仅前向）≈ 100 GFLOPs/Token

若要达到单节点每秒处理1000 Token的吞吐，则需100 TFLOPS的有效算力。而当前主流加速卡的单卡BF16峰值算力在数百TFLOPS级别，看似够用，但实际有效算力通常只有峰值的30%~50%，受限于内存带宽、通信延迟和算子效率。

因此，算力估算不能只看峰值，要结合目标吞吐（Tokens/s）和并发数反推。一个实用的经验公式：

所需卡数 ≈ (目标吞吐 × 每Token FLOPs) / (单卡有效算力 × 利用率)

四、通信瓶颈：万亿MoE的真正门槛

万亿MoE的专家并行（EP）意味着每次前向传播都要做All-to-All通信。跨机通信的延迟和带宽直接决定系统能否线性扩展。

关键优化方向包括：

• 拓扑感知的专家放置：把通信频繁的专家放在同一节点或同一超节点内，减少跨机流量；
• All-to-All延迟抖动抑制：通过专用通信算子融合，把多次小消息合并为大消息；
• 计算通信重叠：在等待专家结果时继续处理其他层或micro-batch。

如果忽视通信优化，增加机器可能不但不提升吞吐，反而因通信开销导致性能下降。

五、分级配置建议

综合以上分析，可以给出三档配置思路：

档位	目标	大致卡数	说明
验证级	单机跑通、功能验证	8~16卡	低并发，接受高延迟，可用CPU卸载
生产级	中等并发在线服务	32~64卡	需EP+TP混合并行，通信优化到位
高性能级	高并发低延迟	128卡以上	超节点架构，全链路调优

按当前高带宽加速卡的市场价格估算，验证级配置的硬件成本在数百万元量级，生产级则跨入千万元量级。如果采用更高规格的超节点方案，整体预算会进一步上升。具体数字随市场行情波动，建议以实际询价为准。

六、软件栈同样重要

硬件到位只是第一步。推理框架需要支持：

• 专家并行与张量并行的混合调度；
• 低精度权重的原生加载与算子加速；
• 动态批处理与PagedAttention类显存管理；
• 长上下文场景下的KV Cache分级存储。

这些能力决定了同样的硬件能发挥出多少有效算力。

小结

万亿MoE模型的本地部署，本质是一道显存、算力、通信的三元约束题。显存决定最少节点数，算力决定吞吐上限，通信决定扩展效率。建议团队在申请预算前，先明确业务目标吞吐和延迟要求，再按上述方法逐层测算，避免“买多了浪费、买少了跑不动”的尴尬。