大模型训练中优化器如何影响收敛效率与稳定性

在深度学习尤其是大语言模型的训练过程中，优化器（Optimizer）往往不像模型结构、数据集或训练框架那样受到广泛讨论，但它对训练效率、收敛稳定性以及最终模型质量的影响却极为关键。可以这样理解：如果把训练过程比作一个盲人要在群山中寻找最低点，那么损失函数告诉他当前的海拔，梯度告诉他脚下的坡度方向，而优化器则决定了他该往哪个方向走、走多快、什么时候该慢下来。

随着模型参数规模不断扩大，训练周期动辄数周乃至数月，优化器的选择与调参已经成为影响工程成败的核心变量之一。

一、优化器在训练中的角色与核心任务

从工程角度看，优化器需要同时完成三个相互关联的任务：控制更新步长、避免陷入局部最优、提升在复杂损失地形中的移动效率。

第一是学习率控制。在损失函数构成的非凸地形中，如果每一步更新幅度过大，参数可能直接跨过谷底，导致损失在最优解附近来回震荡甚至发散；如果步长过小，训练又会变得极其缓慢，可能在有限的计算资源下无法到达理想位置。因此，一个成熟的优化器需要具备自适应调整步长的能力：在梯度平缓的区域适当加大步长以提高效率，在梯度陡峭或接近谷底的位置减小步长以保证稳定。

第二是逃离局部最优。损失地形中往往存在大量鞍点和浅坑，这些位置虽然不是全局最低点，但梯度信息可能非常微弱或指向局部下降方向。如果优化器只依赖当前梯度做短视决策，参数很容易被困在这些区域。早期广泛使用的随机梯度下降（SGD）本身并不具备逃离局部最优的机制，更多依赖随机采样带来的噪声扰动以及合理的初始化和学习率调度来间接缓解这一问题。

第三是应对复杂地形中的震荡问题。在实际训练中，损失函数的地形往往呈现狭长峡谷状：某一方向梯度变化剧烈，另一方向则相对平缓。此时，标准的梯度下降会因为在这些陡峭方向上反复“撞击山壁”而产生剧烈震荡，导致收敛路径严重拉长。

二、从无质量粒子到有惯性运动：动量方法的引入

理解优化器演进的一个关键节点，是人们对“参数如何在损失地形中移动”这一物理图景的重新审视。

传统的梯度下降方法，在数学表达上可以看作一个没有质量的粒子在损失表面上滑动。它每一时刻的速度完全由当前位置的梯度决定，可以瞬时启动，也可以瞬时停止。这种理想化设定在数学上简洁，但在面对复杂地形时暴露出明显缺陷——尤其在峡谷地形中，梯度方向频繁反转，导致参数在陡峭方向上持续震荡，而沿谷底方向的实际推进速度却很慢。

针对这一问题，研究者从经典力学中借用了“惯性”的概念。1964年，苏联数学家鲍里斯·波利亚克（Boris Polyak）在优化理论研究中提出了重球法（Heavy Ball Method）。其核心思想是：在参数更新时，不仅考虑当前梯度，还保留一部分之前累积的更新方向，相当于给这个“粒子”赋予了质量和惯性。

重球法的更新公式可以简化为：

v_t = μ * v_{t-1} - ε * ∇f(θ_t)
θ_{t+1} = θ_t + v_t

其中，v_t 表示当前的更新速度，μ 为动量系数（通常取值在0到1之间，如0.9），ε 为学习率，∇f(θ_t) 为当前梯度。这个公式的含义是：新的更新方向不仅依赖于当前梯度，还融合了之前积累的速度。在峡谷地形中，当参数在陡峭方向上往复震荡时，动量项会使得这些震荡在正负方向上部分抵消，从而有效抑制横向抖动；而在谷底方向上，由于梯度方向保持一致，动量会持续累积，推动参数更快地向最优点移动。

这一改进在理论上得到了严谨证明，并在后续的大量实践中被验证为提升训练效率的有效手段。现代深度学习中广泛使用的动量 SGD、Adam 等优化器，都在不同程度上借鉴和发展了这一思想。

三、从动量到自适应学习率

动量方法解决了“方向惯性”的问题，但学习率仍然是一个全局统一的标量。对于参数数量庞大、不同维度梯度尺度差异显著的大模型而言，这种方式存在明显局限。

自适应学习率优化器的核心思路，是对每个参数维护独立的更新尺度信息。一种常见的实现方式是维护梯度平方的指数移动平均，然后用该平均值的平方根对当前梯度进行归一化。其更新过程可以概括为：

s_t = β * s_{t-1} + (1 - β) * g_t^2
θ_{t+1} = θ_t - ε * g_t / (sqrt(s_t) + δ)

这里 g_t 为当前梯度，s_t 累计了梯度平方的衰减平均，δ 是防止除零的小常数。这样做的效果是：对于梯度一直很大的参数，其有效学习率会被自动调低；对于梯度较小的参数，有效学习率会相对提高。这种机制显著缓解了不同层之间梯度尺度不一致带来的调参困难，也降低了对全局学习率精确设置的依赖。

不过，自适应学习率也并非没有代价。由于更新幅度经过归一化后不再直接反映梯度的真实尺度，某些情况下可能导致模型在泛化性能上弱于调参良好的动量 SGD。因此在实际的大模型训练中，不同团队会根据任务特性、模型结构和训练规模选择不同的优化器方案，有时也会将动量机制与自适应学习率结合使用。

四、大模型训练中的优化器工程实践

在大规模模型训练场景下，优化器已经不再是一个孤立的算法组件，而是一个与分布式训练、混合精度、梯度累积、权重衰减等机制深度耦合的系统工程问题。

首先是学习率调度策略。实践中极少使用固定学习率训练大模型，更常见的做法是结合 warmup 和 cosine decay 等策略。warmup 阶段通过在训练初期逐步提高学习率，避免模型在初始随机状态下因梯度估计不准确而导致的不稳定；随后的衰减阶段则帮助模型在后期更精细地收敛到较低损失区域。

其次是梯度裁剪。在大模型训练中，梯度爆炸是导致训练不稳定的常见原因。通过设置梯度范数阈值，在每次更新前对超限梯度进行缩放，可以有效避免单步更新过大造成模型发散。这一策略与优化器的更新规则相互配合，直接影响训练稳定性。

此外，混合精度训练也为优化器提出了新的要求。在低精度浮点表示下，梯度数值的动态范围发生变化，优化器内部维护的状态量（如动量、梯度平方累积）通常需要保持较高精度，以避免数值下溢或舍入误差累积。工程上常见的做法是“前向与反向用低精度，参数更新用高精度”，并在优化器状态中维护一份高精度参数副本。

五、对开发者的实践建议

在真实开发场景中，优化器选型不应盲目追新，而应结合实际训练规模、模型结构、数据特性和算力预算综合判断。

对于中小规模模型和相对充足的调参预算，动量 SGD 配合精细的学习率调度往往能获得较好的泛化表现。对于参数规模大、训练周期长、调参成本敏感的模型训练任务，自适应学习率优化器可以显著降低对初始学习率的敏感性，提升训练的鲁棒性。

无论采用哪种优化器，以下几点工程建议都具有普遍适用性：

1. 始终记录并可视化训练损失曲线，关注是否出现震荡加剧、损失平台期过长或突发发散等异常；
2. 为学习率调度预留充分的实验预算，不同优化器对学习率敏感度差异显著；
3. 在分布式训练中关注优化器状态的同步机制，确保各计算节点上的参数更新逻辑一致；
4. 注意权重衰减与优化器更新规则的交互，并非所有优化器对权重衰减的处理方式都相同。

六、小结

优化器是深度学习训练中的“决策中枢”，它决定了模型如何在复杂的损失地形中寻找最优解。从标准梯度下降到动量方法，再到自适应学习率的广泛应用，每一次演进都源于对训练瓶颈的深入理解和工程需求的持续推动。对于大模型训练而言，优化器早已不是单纯的数学公式，而是与分布式系统、数值精度、超参调度紧密交织的关键环节。理解其底层原理与工程行为，是每一位深度学习开发者在规模化训练中需要掌握的基本能力。