进度更新与损失平台 | AI生成和翻译
自上次检查以来的更新（25,600 → 35,436）：
进度：
- 步骤 35,436 / 87,000 – 40.7%（从 29.4% 提升）
- 已耗时：736 分钟（约 12.3 小时）– 增加了约 3.5 小时
- 预计剩余时间：1,072 分钟（约 17.9 小时）
- 自上次检查以来增加了 约 9,836 步
损失：
- 仍在 1.25 - 1.39 区间波动
- 无持续改善趋势 – 方差占主导地位，与之前相同
- 学习率衰减至 0.92（余弦学习率调度开始生效）
性能：
- 每步耗时约 1.32 秒，约 49K 令牌/秒 – 比之前略慢（之前约为 1.23 秒）
- bf16_mfu 约 148-152% – MFU 计算仍有问题
- pq: 20 rg: 1 – 数据管道稳定
要点： 还剩约 18 小时。损失仍未从 29% 时看到的 1.25-1.45 区间明显下降。学习率衰减刚刚开始（0.92），因此接下来学习率降至约 0 的约 30K 步将告诉我们这个模型能否进一步压缩，还是已经达到平台期。
AI生成和翻译，但整理分享仍需精力。如果觉得有帮助，欢迎
捐助支持。
微信：@lzwjava
·
X: @lzwjava ·
打个招呼 👋