Xavier初始化保障循环神经网络稳定性 | AI生成和翻译
为什么RNN需要Xavier初始化？
RNN（循环神经网络）依赖Xavier（亦称Glorot）初始化来配置权重矩阵——包括Wxh（输入到隐藏层）、Whh（隐藏层到隐藏层，即循环权重）和Why（隐藏层到输出层）——以维持稳定的训练动态。代码中采用的高斯（正态）分布缩放形式通过sqrt(1 / fan_in)实现，其中fan_in是该层的输入神经元数量。这能将权重方差保持在1 / fan_in左右，确保输入信号不会被过度放大或压缩。
以下是这对RNN至关重要的原因，以及为什么简单的[0,1]均匀分布随机初始化会引发问题：
1. 保持跨层和跨时间步的信号方差
- 在前馈网络中，Xavier初始化能确保信号前向传播（及梯度反向传播）时激活函数的方差大致稳定。若无此机制，深层网络的激活值可能爆炸（变得极大）或消失（趋近于零），导致训练无法进行。
- RNN如同按时间展开的”深度”网络：循环权重
Whh在每个时间步与隐藏状态相乘，形成连乘链（例如序列长度为T时，相当于T层深度）。若Whh权重方差>1，梯度在反向传播时会指数级爆炸（对长序列尤为不利）；若<1，梯度则会消失。 - Xavier的缩放策略（例如对
Whh使用* sqrt(1. / hidden_size)）能确保隐藏状态的期望方差保持在~1，从而避免该问题。若采用[0,1]均匀初始化：- 均值约0.5（正向偏置，导致漂移）
- 方差约1/12≈0.083——对于较大隐藏层（如512单元）而言过小，会快速导致信号消失
2. 适应层维度变化
- Xavier会考虑fan_in（层输入数）和有时fan_out（层输出数）。对
Wxh按sqrt(1 / input_size)缩放可基于词汇表大小或嵌入维度进行归一化；对Whh则基于hidden_size以匹配循环回路。 - [0,1]初始化忽略维度：在大型隐藏层（如1000个单元）中，大量[0,1]输入未经缩放直接求和会淹没下一层；而在小型层中则会导致下溢
3. 通过时间反向传播的梯度流
- RNN训练采用BPTT算法，梯度需沿T个时间步反向传播。不良初始化会导致”梯度消失问题”（普通RNN常见缺陷，也是LSTM/GRU出现的原因），Xavier通过平衡初始幅值缓解该问题
- 实证研究（如Glorot和Bengio的原始论文）表明，Xavier能使深度/循环网络的收敛所需周期减少2-10倍
替代方案与[0,1]初始化可能”有效”的场景
- [0,1]初始化在微型实验模型（如单层短序列）中可能”有效”，但在实际规模下必然失效——可能出现梯度爆炸或NaN值
- 现代改进方案：He初始化（适用于ReLU，按
sqrt(2 / fan_in)缩放）或正交初始化（适用于RNN，能精确保持范数）。但对于RNN常用的sigmoid/tanh激活函数，Xavier仍是安全默认选择
简而言之，Xavier的核心在于稳定性优先：通过设置维度感知的适中权重，让梯度自由流动。而随机[0,1]初始化过于粗糙——就像未经动平衡就直接飙车。
延伸阅读：
理解深度前馈神经网络训练难点（Glorot & Bengio, 2010）
循环神经网络正则化（Zaremba等，关于RNN初始化问题）