CUDA 代理更好地优化 GPU 内核 | AI生成和翻译
问题： 根据 ByteDance 的论文，CUDA Agent 做什么？
答案：
CUDA Agent — 概述
CUDA Agent 是由 ByteDance Seed（与清华大学合作）开发的大规模 agentic reinforcement learning 系统，通过可扩展的数据合成、技能增强的执行环境以及稳定的长时程 RL 训练，发展出鲁棒的 CUDA kernel 优化能力。
它解决的核心问题
GPU kernel 优化是现代深度学习的基础，但仍是一项高度专业化的任务，需要深厚的硬件专业知识。尽管在通用编程方面表现出色，大型语言模型 (LLMs) 在 CUDA kernel 生成上仍无法与基于编译器的系统（如 torch.compile）竞争。现有的 CUDA 代码生成方法要么依赖无训练的精炼，要么在固定的多轮执行反馈循环中微调模型，但这些范式都无法从根本上提升模型的内在 CUDA 优化能力。
三个核心组件
1. 可扩展的数据合成
训练任务通过三阶段管道构建：种子问题爬取、基于 LLM 的组合合成，以及执行驱动的过滤。从 torch 和 transformers 中挖掘种子算子，每个算子表示为带有初始化和 forward 方法的 Python 类。组合合成采样最多 5 个 torch 算子，并将它们顺序组合成融合任务。最终精选数据集包含 6,000 个训练样本（CUDA-Agent-Ops-6K），专为可扩展的 RL 训练设计，具有广泛的任务多样性和降低的污染风险。
2. 技能增强的代理环境
代理循环遵循 ReAct 风格的工作流程，配备编码工具和 CUDA 技能规范（SKILL.md），支持迭代编码、编译调试周期以及 profiler 引导的优化。标准工作流程是：profile 原生 PyTorch，实现 CUDA kernels/bindings，在 GPU sandbox 中编译，然后迭代。目标要求是：通过正确性检查，并超过 torch.compile 的 5% 加速。
代理配备了 BashTool、GlobTool、MultiEditTool 和 TodoWriteTool 等工具，并在四阶段循环中运行：分析原生 PyTorch 实现的性能，通过重写模型实现自定义 CUDA 算子，在 GPU sandbox 环境中编译和评估，然后重复直到实现超过 torch.compile 基线的 5% 加速。
3. 稳定的长时程 RL 训练
训练分阶段进行，以稳定 CUDA 编码的长时程 RL。首先运行单轮 PPO 预热，然后在完整多轮 agentic RL 之前初始化 actor 和 critic。Actor 初始化使用在采样轨迹上的 Rejection Fine-Tuning (RFT)，这些轨迹具有积极结果。RFT 过滤掉低效循环和无效的工具调用模式，以降低策略崩溃风险。通过这种多阶段设计，训练在长上下文设置下保持稳定（最多 128k 上下文、150 个训练轮次，以及评估期间最多 200 个轮次），从而实现持续的奖励增长。
基础模型
CUDA Agent 是 ByteDance 的 Seed 1.6 LLM 的微调版本，这是一个 Mixture-of-Experts (MoE) 模型，激活参数 23B，总参数 230B。微调在 128 张 NVIDIA H20 GPU 的集群上进行。
关键结果
CUDA Agent 在 KernelBench 上实现了最先进的结果，在 Level-1、Level-2 和 Level-3 分割上分别比 torch.compile 快 100%、100% 和 92%，整体通过率为 98.8%，整体加速 2.11x vs. torch.compile。
与 Claude Opus 4.5 和 Gemini 3 Pro 在复杂 kernel 上的 40 分差距表明，通用编码能力是必要的但不足以实现 GPU 优化——你需要针对硬件基础奖励的领域特定 RL。
为什么重要
关键举措事后看来显而易见：如果你希望模型生成快速代码，就奖励它生成快速代码——不是正确代码，不是看起来像好代码的代码，而是 profiler 说快速的代码。超过 torch.compile 的 2.11x 加速很重要，因为 torch.compile 是大多数 PyTorch 用户的默认优化路径。如果 RL 训练的代理能在相同硬件上持续击败编译器，它就为生产环境中 AI 生成的 kernel 取代手动调优的算子库开辟了道路。
参考文献：