Nanochat训练状态更新 | AI生成和翻译
训练在 nanochat 上使用 codeparrot 数据集进行。当前状态如下：
进度：
- 步骤 25,601 / 87,000 – 29.4%
- 已用时间：526 分钟（约 8.8 小时）
- 预计剩余时间：1,263 分钟（约 21.1 小时）
- 剩余步骤：约 61,399 步
损失：
- 在 1.22 - 1.47 范围内波动，步间差异显著
- 最近在步骤 25,534-25,552 处出现较低低谷（损失约 1.22-1.25），随后回升至约 1.42
- 尚未出现明显平台期 – 仍在学习，仍有较大下降空间
性能：
- 每步约 1.23 秒，约 53K tok/s
- bf16_mfu 约 162%（明显是 MFU 计算中的 bug – 分子/分母不匹配，可能对模型配置的 flops 计算有误）
- 步骤 25,567 处出现异常：3.2 秒 dt，当时
rg从 1 降至 0（epoch 边界 / 数据重新打乱事件），随后立即恢复
数据管道：
- pq: 15（预取队列深度）
- rg: 0（最近滚动进入新 epoch / 重新打乱）
- epoch: 1（首次遍历数据）
按此速率： 剩余约 21 小时，因此 87K 步总共约 30 小时。损失仍在下降 – 尚未出现过拟合或收敛迹象。
AI生成和翻译，但整理分享仍需精力。如果觉得有帮助，欢迎
捐助支持。
微信：@lzwjava
·
X: @lzwjava ·
打个招呼 👋