残差连接该改了吗？深度维度的注意力化探索

一、被反复改造的Transformer，与被遗忘的残差连接

过去几年，围绕Transformer的几乎所有核心部件都被重新设计过：

• 注意力模块：从标准多头注意力演进到MQA、GQA乃至各类线性注意力变体，目标直指推理成本与长上下文能力；
• 前馈网络：从稠密FFN走向稀疏MoE，用条件计算换取参数效率；
• 位置编码：从可学习绝对位置到旋转位置编码，重点解决长度外推；
• 归一化：LayerNorm与RMSNorm之争、PreNorm与PostNorm的取舍，被反复验证与调整。

然而，把这些部件串联起来的残差连接，公式几乎从未变过：

hl = h{l-1} + f(h_{l-1})

“上一层输出直接加上当前层变换”，权重恒为1。自残差网络思想提出至今近十年，这种固定累加逐渐从工程经验演变为不容置疑的默认设定。近期业界一项前沿架构研究对此提出了系统性质疑：固定权重的残差累加，正在成为深层模型表达能力的隐性瓶颈。

二、病根在哪：PreNorm稀释问题

现代大模型普遍采用PreNorm结构，即归一化放在子层计算之前，配合单位权重残差累加。这种组合训练稳定、易于横向扩展，是大模型时代的标配，但它有一个常被忽略的代价。

将第 l 层的隐状态按递推式逐步展开，可以得到：

hl = h_0 + Σ{i=1}^{l} fi(h{i-1})

也就是说，最终表示本质上是初始嵌入与所有层变换的等权求和。随着深度增加，会依次出现三个问题：

1. 幅值膨胀：隐状态的数值规模随深度近似单调增长，不同层贡献的量级被混在一起；
2. 信息稀释：单层新增信息在总和中的占比越来越小，深层计算的结果被前面所有层的累积输出淹没；
3. 权重失真：不同层对最终表征的重要性本应不同，浅层偏通用、深层偏抽象，但固定权重1完全无法表达这种差异。

该研究将这一现象称为PreNorm稀释。可以用一段伪代码直观感受占比的变化趋势：

# 伪代码：固定权重残差累加的稀释效应示意
h = initial_embedding            # 初始嵌入
ratio = []
for layer in range(depth):
    delta = layer_output(layer)  # 第 layer 层新增信息（示意）
    ratio.append(norm(delta) / norm(h + delta))
    h = h + delta                # 权重恒为 1 的无差别累加
# ratio 随深度增加持续下降：单层贡献占比越来越低

需要强调，这是高度简化的示意：真实子层输出并非相互独立的随机向量，归一化层也会控制数值尺度。但它揭示的量级关系与研究中观察到的现象在方向上一致——深度越大，等权累加带来的稀释效应越明显，深层参数的有效利用率随之下降。

三、核心洞察：时间-深度对偶性

这项研究最具启发性的部分，不是某个具体模块的替换，而是一个跨维度的类比，可以概括为时间-深度对偶性。

先回顾注意力机制取代循环网络的历史。循环网络在时间维度上把全部历史信息压缩进一个固定大小的隐状态，每一步以固定方式更新，导致远距离依赖难以保留、历史检索不可选择；注意力机制用“按需检索”取代了这种无差别压缩，让模型能够根据当前查询动态决定关注哪些历史信息。

再看深度维度。标准残差连接不正是把前面所有层的输出，无差别地累加进一个不断膨胀的隐状态吗？权重固定、不可选择、不可组合。两者在结构上惊人地相似：

• 时间维度的循环累加 ≈ 深度维度的固定残差；
• 时间维度的注意力检索 ≈ 深度维度的动态聚合。

既然时间维度的固定累加已经被注意力机制革命，深度维度的固定残差也没有理由永远豁免。这是整条技术路线的灵魂所在，也是它能够引发广泛讨论的根本原因：它用一个已被验证过的历史规律，去推演下一个可能发生的变化。

四、解决思路：把残差“注意力化”

沿着对偶性推导，自然的做法是把残差连接从“固定权重求和”升级为“动态权重聚合”，示意形式如下：

h_l = Σ_i α_i(h_l) · h_i

其中聚合权重α由注意力机制根据当前层状态动态计算，而非恒等于1。这一改动带来三层价值：

1. 按需组合：每一层可以学习“我该从哪些前面的层取信息、各取多少”，浅层通用特征与深层抽象特征得以灵活组合，而非被动堆叠；
2. 抑制膨胀：聚合是加权组合而非单调累加，隐状态幅值不再随深度必然膨胀，稀释问题从机制层面被缓解；
3. 可解释性：聚合权重本身构成一种层间归因信号，为分析深层网络的信息流动提供了新的观测窗口。

当然，从思想到可用架构之间有大量工程细节需要解决：聚合范围如何选取、如何与归一化方案配合、额外注意力带来的计算与显存开销如何控制、训练稳定性如何保障。这些决定了方案能否真正进入大规模训练，本文只提炼思想，不展开具体实现细节。

五、工程视角的四点思考

1. 为什么现在才被正视？在模型不够深的时代，稀释问题被规模红利掩盖；而当深度成为扩展定律中的关键轴之一，“每一层都要物尽其用”变成硬约束，等权累加的低效才被放大到不可忽视的程度。
2. 改动基础部件的风险收益比：残差连接是训练稳定性的基石，任何改动都会牵动梯度流动、初始化策略与学习率调度。这正是它十年未被触碰的原因，也是任何替代方案必须跨过的门槛。
3. 对推理部署的连锁影响：若深度聚合变成动态注意力，键值缓存的形态、算子融合方式、显存布局都可能需要重新设计。架构创新的价值，最终要在训练效率与推理成本的联合账本上衡量。
4. 方法论启示：阅读架构研究时，与其追问“换了什么模块”，不如追问“作者发现了什么结构性缺陷，又是用怎样的第一性原理推导出解法”。时间-深度对偶性这类跨维度类比思维，比任何单点技巧都更值得迁移到自己的技术决策中。

六、结语

残差连接让深度网络真正“深”了起来，这一点功不可没。但当模型规模与深度持续增长，“所有层等权累加”这一默认设定在理论上开始显现不合理性。把注意力机制从时间维度推广到深度维度，未必是终局答案，却传递了一个重要信号：架构中没有理所当然的部件，每一个十年未动的默认值，都值得被重新审视一遍。对追求极致性价比的大模型团队而言，这类基础构件层面的反思，可能比简单堆叠更多参数更接近下一轮技术红利。