理论性能与实际性能的差距 | AI生成和翻译
这种差异的出现是因为理论峰值FLOPS（每秒浮点运算次数）衡量的是理想条件下的原始算术吞吐量——假设所有执行单元完全利用、无内存瓶颈且带宽无限。在实际工作负载（尤其是AI训练/推理场景）中，性能瓶颈往往来自内存子系统效率问题，而不仅仅是计算能力。2010年的费米架构GPU（如GTX 480）在这方面表现尤其糟糕，导致与现代显卡（如RTX 4090）对比时夸大了”预期”差距。
费米架构未充分利用理论FLOPS的关键原因
- 缓存层次结构与内存合并能力差
- 费米架构每个SM仅64KB L1缓存（与寄存器共享），整个芯片只有768KB L2缓存
- 缺乏缓存一致性机制，全局内存访问未合并 → 实际内核中有效带宽仅约10-30%
- 现代GPU（安培/艾达架构）拥有巨型L1缓存（192KB/SM）、专用纹理缓存和激进预取机制，可实现理论带宽70-90%的利用率
- 高延迟低带宽的ECC DDR5/GDDR5显存
- 费米：约170GB/s GDDR5，384位总线但ECC开销 → 实际约130GB/s
- RTX 4090：1TB/s GDDR6X，384位总线且消费级模式无ECC损耗，辅以更强压缩技术
- 实际AI计算内核多为内存瓶颈型（如大矩阵GEMM运算），数据停滞时FLOPS毫无意义
- 低效的寄存器文件与线程束调度
- 费米：32K 32位寄存器/SM → 最大1536线程但实际占用率仅约50%（寄存器溢出导致）
- 艾达：256KB寄存器文件 → 2048线程/SM，接近100%占用率
- 更少的分支分歧，更好的指令级并行提取能力
- 功耗/热限制 throttling
- GTX 480：250W TDP，持续负载下严重降频（时钟频率下降10-20%）
- RTX 4090：450W但通过4nm工艺、DLSS技术和动态加速实现约3倍能效提升
实测现实场景性能提升（AI工作负载）
| 指标 | GTX 480（费米, 2010） | RTX 4090（艾达, 2022） | 加速比 |
|---|---|---|---|
| FP32 峰值TFLOPS | 1.35 | 82.6 | 61倍 |
| FP16 峰值TFLOPS | ~0.7（模拟） | 330（张量核心） | >400倍 |
| ResNet-50训练（图幅/秒） | ~60 | ~1,050 | 约17倍 |
| GPT-2推理（词元/秒） | ~8 | ~140 | 约17倍 |
| Stable Diffusion（迭代/秒） | <0.1 | ~1.6 | >16倍 |
数据来源：英伟达论文、MLPerf基准测试、AnandTech
核心结论
理论FLOPS假设费米架构能维持约70%利用率——实际未能实现（真实利用率约15-25%）。现代架构将该差距缩小至约70-90%，因此有效算力增长更接近摩尔定律+架构改进（12年间约10-17倍），而非峰值FLOPS显示的60倍以上。剩余部分属于”纸面性能”。