万亿级开放权重模型的技术拆解：从参数规模到智能体评测

万亿级开放权重模型的技术拆解：从参数规模到智能体评测

一、开放权重模式正在改变大模型的协作方式

过去两年，大模型的发布范式发生了显著变化。早期，能力最强的模型往往只通过闭源API提供服务，开发者无法触及模型内部结构，也无法在私有环境中部署。随着开放权重（Open Weights）模式的兴起，越来越多的团队开始将完整权重、模型卡、评测结果和自定义许可证一并公开，使研究者可以复现、微调与二次开发。

这一转变的意义不只是“免费下载”。对开发者而言，开放权重意味着三件事：第一，可以在自有基础设施上进行推理与微调，不必依赖外部接口；第二，可以审计模型架构与量化方案，评估其是否适配自身硬件；第三，可以基于公开评测数据，判断模型在特定任务上的真实水平。近期一个总参数达到2.8万亿的开放权重模型正式公开，配套披露了架构参数、多模型对标结果与自研许可证全文，为上述讨论提供了一个值得深入拆解的样本。

二、架构延续与规模定位：总参数2.8万亿意味着什么

该模型的底层架构延续了上一代设计，总参数为2.8万亿，激活参数为1040亿，上下文窗口达到100万token。这组数字需要分开理解。

总参数与激活参数的区别。 总参数是模型中所有可学习权重的总量，而激活参数是单次前向推理中实际参与计算的参数量。二者差距巨大，说明该模型采用了稀疏激活的混合专家（MoE）结构。MoE的核心思想是：将前馈网络拆分为多个专家子网络，每次推理只路由到其中少数几个专家。这样做的收益是，模型可以拥有极大的知识容量，但单次推理的算力开销仅与激活参数相关。

用一个简化的伪代码来示意路由逻辑：

# 简化的MoE路由示意
def moe_forward(x, experts, router, top_k=2):
    # router输出每个专家的权重
    gate_scores = router(x)                  # [batch, num_experts]
    topk_vals, topk_idx = topk(gate_scores, top_k)
    weights = softmax(topk_vals, dim=-1)
    output = 0
    for i in range(top_k):
        expert = experts[topk_idx[:, i]]
        output += weights[:, i] * expert(x)
    return output

上述代码只是概念示意，真实实现还涉及负载均衡、容量因子、专家并行等工程细节。但它说明了关键点：2.8万亿总参数并不等于2.8万亿参数都要参与每次计算，实际算力开销由1040亿激活参数决定。

100万token上下文窗口的工程含义。 长上下文对内存和注意力计算都提出了更高要求。在标准注意力机制下，计算复杂度随序列长度呈平方增长，因此长上下文通常需要配合分块注意力、稀疏注意力或缓存复用等方案。100万token的窗口意味着模型可以一次性处理超长文档、大型代码仓库或持续数小时的多轮对话记录，这对智能体类应用尤为关键。

三、低精度量化：把5.6TB压缩到1.56TB

权重公开之后，最现实的问题是可部署性。按16位精度存储，2.8万亿参数约需5.6TB；对于大多数团队而言，这个体积无论对显存、内存还是存储都构成巨大压力。该模型采用MXFP4低精度量化，将体积压缩至约1.56TB，压缩比约为3.6倍。

MXFP4属于微缩放（Microscaling）格式家族，其核心思路是：不再对整个张量使用单一缩放因子，而是将权重划分为小块，每个块共享一个缩放因子，块内元素用4位表示。这样可以在极低精度下保留较多动态范围，减少量化带来的精度损失。

精度格式	每参数大致位宽	2.8万亿参数所需存储
FP16	16位	约5.6TB
FP8	8位	约2.8TB
MXFP4	4位+缩放开销	约1.56TB

需要注意的是，量化后的模型能否保持原有能力，取决于量化算法、校准数据以及推理时的反量化开销。模型卡中通常会说明量化对评测指标的影响，开发者应结合自身任务验证，而不是仅凭压缩比做决策。

四、能力提升的来源：后训练阶段的强化学习加码

该模型的能力提升主要来自后训练阶段的强化学习加码，而非单纯扩大预训练规模。这一选择符合当前技术趋势：当基础模型具备足够的知识储备后，决定其实际可用性的往往是后训练阶段的对齐与优化。

强化学习在后训练中通常用于以下目标：

• 指令遵循：让模型更准确地理解复杂、多约束的任务描述；
• 推理链路优化：鼓励模型在数学、编程等任务中展开中间步骤；
• 工具调用与智能体行为：训练模型在多轮交互中规划、调用工具并根据反馈调整策略；
• 安全与拒答边界：在开放域对话中维持稳定的行为规范。

强化学习加码的难点在于奖励设计与训练稳定性。对于智能体任务，奖励往往来自任务是否完成、代码是否通过测试、操作是否达成目标等可验证信号。这类信号比人工标注更易规模化，但也要求评测环境足够真实。

五、智能体评测：1.75万次真实会话说明了什么

与权重公开同步披露的还有一类智能体评测排名。该模型在开放权重模型中位列首位，在全部参评模型中排第13位，在工作、编程、聊天三类任务中均居开放模型第一。榜单基于超过1.75万次真实用户长周期智能体会话。

这里有几个值得关注的评测方法论问题。

第一，长周期会话与单轮问答的区别。 单轮问答主要考察知识召回与语言组织能力，而长周期智能体会话考察的是规划、记忆、工具使用和错误恢复。一个模型可能在单轮测试中得分很高，但在需要连续十几步操作的智能体任务中表现不佳。

第二，净改进率的含义。 该模型净改进率为+5.1%，上一代为+0.9%。净改进率通常指在对比评测中，模型相对基线取得正向结果的净比例，而非绝对准确率。这个指标的意义在于衡量迭代带来的真实增益，而不是单次运行的波动。

第三，真实用户会话的价值与局限。 真实会话覆盖面广、任务多样，但噪声也更大，任务难度分布不可控。因此，这类榜单适合作为参考，不宜作为唯一选型依据。开发者在实际选型时，应结合自身业务场景构建小规模评测集。

六、开发者视角：开放权重模型的落地考量

对于考虑使用万亿级开放权重模型的团队，以下几点值得提前评估：

1. 硬件门槛：即使量化到1.56TB，完整加载仍需要大容量高带宽内存或多卡分布式推理。需评估是否具备相应基础设施，或是否采用按需调用的托管方案。
2. 推理框架兼容性：MXFP4等低精度格式需要推理框架支持。部署前应确认所用框架是否支持该量化格式及对应的反量化内核。
3. 微调成本：全参数微调在万亿规模上代价极高，通常采用参数高效微调方法。需评估微调目标与数据量是否匹配。
4. 许可证条款：自研许可证可能包含使用范围、再分发、商业化等方面的约定，务必逐条阅读，避免合规风险。
5. 评测复现：公开榜单提供参考，但业务效果需要在自有数据上验证。建议构建覆盖核心场景的评测集，并进行A/B对比。

七、结语

万亿级开放权重模型的出现，标志着大模型竞争从“参数规模”转向“可部署性、可审计性与真实任务表现”的综合比拼。2.8万亿总参数、1040亿激活参数、100万token上下文、MXFP4量化至1.56TB、后训练强化学习加码，以及基于1.75万次真实会话的智能体评测，共同构成了一个值得研究的技术样本。对开发者而言，重要的不是追逐参数数字，而是理解这些设计选择背后的工程权衡，并结合自身场景做出可验证的判断。