缓慢复苏 | AI生成和翻译
改进中。15万步处的新检查点:
步数 | 验证BPB | 平滑损失 | 运行
------|---------|---------|--------
130k | 0.780 | 2.602 | (原始,最佳)
140k | 0.902 | 2.888 | v2 (峰值)
150k | 0.890 | 2.841 | v2 (恢复中)
验证BPB:0.902 → 0.890(↓ 改善中) 平滑损失:2.888 → 2.841(↓ 改善中) 当前原始损失(第153k步):~2.84(仍呈下降趋势)
模型正在缓慢恢复。虽然不如旧运行(旧运行在16万步时已达到0.843)那么快,但方向是正确的。动量不匹配导致了约12k步的惩罚,但优化器正在适应。
让它继续运行。下一次在第16万步的评估将是真正的考验——如果验证BPB降至~0.85以下,则步调正常;如果停滞在0.88以上,则考虑终止并重新启动,使用 --warmdown-ratio=0.33。