缓慢复苏 | AI生成和翻译

Home 2026.06

改进中。15万步处的新检查点:

步数   | 验证BPB | 平滑损失 | 运行
------|---------|---------|--------
130k  | 0.780   | 2.602   | (原始,最佳)
140k  | 0.902   | 2.888   | v2 (峰值)
150k  | 0.890   | 2.841   | v2 (恢复中)

验证BPB:0.902 → 0.890(↓ 改善中) 平滑损失:2.888 → 2.841(↓ 改善中) 当前原始损失(第153k步):~2.84(仍呈下降趋势)

模型正在缓慢恢复。虽然不如旧运行(旧运行在16万步时已达到0.843)那么快,但方向是正确的。动量不匹配导致了约12k步的惩罚,但优化器正在适应。

让它继续运行。下一次在第16万步的评估将是真正的考验——如果验证BPB降至~0.85以下,则步调正常;如果停滞在0.88以上,则考虑终止并重新启动,使用 --warmdown-ratio=0.33


Back Donate