控制RNN文本生成温度 | AI生成和翻译
理解 RNN 采样中的温度参数
在用于文本生成的循环神经网络（RNN）中——比如安德烈·卡帕西在其著名博客中探讨的字符级语言模型——温度是一个超参数，用于调节生成文本的”随机性”或”可预测性”。该参数在采样步骤中应用，当 RNN 根据先前字符预测下一个字符（或标记）时。若缺乏温度调控，生成结果可能过于刻板（总是选择最可能的下一个字符，导致单调循环）或过于狂野（纯粹随机）。温度参数通过软化模型对可能下一个字符的概率分布来达成平衡。
背后的数学原理
RNN 会为每个可能的下一个字符输出 logits（原始未归一化分数）。这些分数通过 softmax 函数转换为概率：
\[ p_i = \frac{\exp(\text{logit}_i / T)}{\sum_j \exp(\text{logit}_j / T)} \]
- \(T\) 代表温度（通常取值在 0.1 到 2.0 之间）
- 当 \(T = 1\) 时，即为标准 softmax：概率反映模型的”自然”置信度
- 随后从这个分布中采样下一个字符（例如通过多项式采样），而非总是选择最高概率项（贪婪解码）
这个过程会迭代进行：将选中的字符作为输入反馈给模型，预测下一个字符，如此循环以生成序列。
低温模式：重复但稳妥
- 效果：\(T < 1\)（如 0.5 或接近 0）会锐化概率分布。高置信度预测的概率进一步提升，低概率项则被压缩趋近于零
- 输出：文本保持”稳妥”和连贯，但很快会陷入重复。模型固守最可能的路径，如同陷入循环
- 卡帕西博客中的示例（生成保罗·格雷厄姆风格的文章）：在极低温度下，会输出类似内容：
“关键在于它们都是同一个事物 初创公司就是它们都是同一个事物 初创公司就是它们都是同一个事物 初创公司就是它们都是同一个事物 初创公司就是它们都是同一个”
虽然置信度高且语法正确，但缺乏创造性——如同训练数据的无限回响
高温模式：创新但不稳定
- 效果：\(T > 1\)（如 1.5 或 2.0）会拉平概率分布。概率分布更趋均匀，使非热门字符（低概率字符）获得更多机会
- 输出：文本更具多样性和创造性，但可能偏离至无意义内容、拼写错误或突兀的转折。模型探索罕见路径，虽能激发原创性，却牺牲了连贯性
- 卡帕西示例：较高温度会产生用词新颖的多样化文章，但”代价是更多错误（如拼写错误等）”。这好比 RNN 在自由发散思考——适合诗歌或科幻创作，但对事实性写作存在风险
在 RNN 中的重要意义
RNN（或卡帕西实验中的 LSTM）具有自回归特性：每个预测都基于前序结果，因此采样中的微小偏差会在长序列中持续累积。温度参数让您可以调节探索与利用的平衡：
- 低 \(T\) 适用于可靠、符合风格的文本（如产品描述）
- 调高温度适用于头脑风暴或艺术创作（如超现实主义故事）
- 代码实践：卡帕西的原始 RNN 代码库包含温度调节滑块——可尝试在莎士比亚文本样本上体验从平淡十四行诗到混乱诗句的转变
本质上，温度参数并非”学习”新知识，而是在推理过程中调节 RNN 的创造力旋钮。低温保持稳定可预测，高温则释放混沌之力。