GPT训练中的权重衰减详解 | AI生成和翻译
Karpathy视频中的权重衰减概述
在YouTube视频《让我们复现GPT-2（124M）》中（这段3小时以上的深度技术视频详细讲解了如何使用PyTorch从零开始复现OpenAI的GPT-2训练过程），Andrej Karpathy在超参数章节（约2:51:40处，约10700秒）将权重衰减作为关键优化技术进行讨论。这部分内容位于数据加载和模型架构讲解之后，属于配置训练循环以匹配GPT-3风格实践的重要环节，重点在于使用AdamW优化器（Adam优化器的变体）来确保大语言模型训练的稳定性和可扩展性。
Karpathy强调权重衰减在正则化中的作用——防止过拟合，尤其是在海量文本数据集上训练时。他将其设置为0.1（是AdamW默认值0.01的10倍）以对齐GPT-3的训练方案，并将其比喻为施加在权重上的“引力”，防止权重值爆炸或主导模型。
核心原理解释与类比
Karpathy将权重衰减描述为在优化过程中施加于模型参数的持续轻柔向下的力——如同重力作用。这能防止单个权重过度增长并过度拟合数据中的噪声，转而促使模型将学习过程分散到多个权重，形成更鲁棒的共享表征（例如：特征不会由单个过大的权重处理，而是分散处理以提升泛化能力）。
他将此与原始Adam优化器对比，指出AdamW将权重衰减与自适应学习率更新“解耦”，使其更加有效。若无适当衰减，GPT-2等大型模型可能变得不稳定，导致收敛不佳或梯度爆炸。
数学公式推导
Karpathy简要推导了AdamW的更新规则，着重说明权重衰减作为独立收缩项的添加方式：
\[ \theta_{t+1} = \theta_t - \eta \left( \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} + \lambda \theta_t \right) \]
- \(\theta_t\): 第\(t\)步的参数（权重）
- \(\eta\): 学习率
- \(\hat{m}_t, \hat{v}_t\): 修正后的一阶和二阶矩（Adam的自适应项）
- \(\lambda\): 权重衰减率（本例中为0.1）
- \(\epsilon\): 稳定常数
关键添加项是\(+\lambda \theta_t\)，它使每一步权重按\((1 - \eta \lambda)\)比例缩放，其效果类似L2正则化，但是在梯度更新之后应用。这对大规模训练至关重要，既能稳定训练又不会干扰梯度裁剪或学习率调度。
代码实现细节
在代码演示中，Karpathy展示了如何在configure_optimizers()中配置优化器：
optimizer = torch.optim.AdamW(
model.parameters(),
lr=learning_rate, # 例如6e-4配合热身机制
weight_decay=0.1, # 为达到GPT级稳定性采用更高数值
fused=True # 内核融合使每步训练提速约3毫秒
)
他特别强调通过参数分组实现选择性衰减：
| 参数分组 | 示例 | 是否应用权重衰减 | 原因说明 |
|---|---|---|---|
| 需衰减参数 | 嵌入矩阵、线性/注意力权重（二维张量） | 是 | 这些参数主导矩阵运算，衰减可防止核心计算中的过拟合 |
| 不衰减参数 | 偏置项、层归一化缩放/偏置（一维张量） | 否 | 不参与内积运算，在此处衰减会损害性能且无收益 |
这种分组配置（例如约50个衰减参数 vs 98个非衰减参数）会在设置时打印输出以便调试。Karpathy指出这是基于GPT-3论文经验的实践性方案，需与余弦学习率衰减和梯度裁剪（范数=1.0）配合使用以确保完全稳定。
实际效果与技巧
- 为何设为0.1？ 对巨型模型/数据集而言，更强的衰减能强制形成更稀疏、更高效的权重分布，同时避免欠拟合
- 性能提升：融合式AdamW可削减计算时间，对长时间训练（例如多GPU环境下的数日训练）至关重要
- 更广背景：此方案使复现的GPT-2能达到接近OpenAI的困惑度评分，印证权重衰减对泛化能力的“超常影响”
Karpathy采用动手实践的风格：实时编码、测试参数值，并始终关联其在真实LLM训练中的意义。若需实现此方案，可参考其nanoGPT代码库获取完整脚本。