RTX 4070的有限FP8支持 | AI生成和翻译
问题：为什么RTX 4070对FP8支持不佳？
回答：
实际上，RTX 4070的Tensor核心确实支持带稀疏性的FP8——Ada架构确实拥有具备FP8能力的第四代Tensor Core。但“不佳”这个说法才是关键。以下是它在实际应用中受限的原因：
硬件与软件之间的差距
虽然硬件支持FP8，但“在所有工作负载中其有用性并不明确，而且弄清楚哪些任务使用FP8与FP16，再加上稀疏性，可能相当棘手”。大多数框架（PyTorch、TensorFlow）并不会自动利用FP8——你需要显式的量化工具和框架支持。
芯片级别的限制
RTX 4070使用的是AD104芯片，这是较低端的Ada变体。FP8是“一项面向未来的能力，旨在提高AI服务部署的效率”，但成熟的FP8实现主要集中在Hopper（H100/H200）和更高端的Ada芯片（RTX 4090、RTX 6000 Ada）上。生态系统优先考虑数据中心硬件。
内存带宽瓶颈
虽然FP8可以“将存储和内存带宽需求相比FP16减半”，但RTX 4070使用了较窄的192位内存接口，导致峰值带宽较低。FP8计算带来的增益会受到内存墙的限制。
实际影响
对于你的工作负载（nanoGPT规模的训练、LoRA微调），在RTX 4070上使用FP8带来的加速效果微乎其微，原因如下：
- 框架支持仍不成熟
- 瓶颈在于内存带宽，而非计算能力
- 实际量化中大多使用INT8或FP16，且工具链更完善
更好的方案： 使用BF16或混合FP16/FP32——这些方案支持良好、经过验证，能够轻松获得80%以上的理论收益。
参考来源：