下载FineWeb数据集100GB | AI生成和翻译
好的。以下是需要在 /workspace/zz 目录下运行的命令：
python3 scripts/download/h200/download_fineweb.py
这将下载约 100 GB（25B tokens）到 datasets/fineweb-edu/。请在 tmux 中运行，以便在断开连接后继续执行：
tmux new -s fineweb
python3 scripts/download/h200/download_fineweb.py
# 按 Ctrl+B D 分离
总结：
- 脚本：
/workspace/zz/scripts/download/h200/download_fineweb.py - 输出目录：
datasets/fineweb-edu/（约 100 GB） - 磁盘空间：
/workspace剩余 178 GB - Python 版本：3.11.10，huggingface_hub 1.22.0
- 全新开始（此卷上无先前进度）
AI生成和翻译，但整理分享仍需精力。如果觉得有帮助，欢迎
捐助支持。
微信：@lzwjava
·
X: @lzwjava ·
打个招呼 👋