研究背景与核心突破 - 字节跳动与清华大学的研究团队开发了名为CUDA Agent的AI模型，该模型能够编写并优化CUDA内核，其核心突破在于将优化目标从代码正确性转向硬件性能，通过强化学习直接基于GPU的实际运行速度进行训练[1][6][7] - 此前，GPT、Claude等大模型生成的CUDA代码仅能保证“正确”，但无法实现深度优化，CUDA Agent解决了这一痛点，其性能在简单/中等内核上比torch.compile高出2倍，在复杂内核上高出约92%，即使在最难的设置下也比Claude Opus 4.5和Gemini 3 Pro高出约40%[2][5] 技术方法与系统设计 - 该研究构建了一个大规模的智能体强化学习系统，包含三个核心部分：可扩展的数据合成机制、一个集成技能增强且具备可靠验证与性能分析能力的CUDA开发环境，以及用于稳定长上下文训练的强化学习算法技术[12] - 数据合成通过三阶段管线完成：从torch和transformers中挖掘种子算子，基于LLM进行组合式合成（最多采样5个算子），并通过执行结果筛选，最终构建了包含6000条训练样本的CUDA-Agent-Ops-6K数据集[14][16] - 智能体环境采用ReAct风格的工作流，支持迭代式的编码-编译-调试循环以及基于性能分析器的优化过程，训练流程采用分阶段设计，包括单轮PPO预热、actor/critic初始化和完整的多轮强化学习，以稳定长时序任务[17][19][22] 性能评估结果 - 在KernelBench基准测试中，CUDA Agent取得了SOTA成绩：在Level-1、Level-2和Level-3三个划分上，相比torch.compile的加速比例（faster rate）分别达到100%、100%和92%[10] - 整体来看，CUDA Agent的通过率为98.8%，相对于torch.compile的加速达成率为96.8%，几何平均加速比为2.11倍；相对于原生Eager模式的几何平均加速比为2.60倍[25] - 在最高难度的Level-3任务上，CUDA Agent相对于torch.compile的加速达成率达到90%，相比最强的专有基线（Claude Opus 4.5的50%）高出约40个百分点；在Level-2的算子序列任务上，其加速达成率达到100%，几何平均加速比达到2.80倍[26] 行业影响与未来展望 - 该技术证明了大型语言模型可以通过基于硬件反馈的强化学习，掌握极高门槛的“硬件直觉”，有望打破传统编译器（如torch.compile或Triton）的优化瓶颈[29] - 研究团队认为，一条通向全自动、高度性能优化计算基础设施的道路正在出现[30]