公司研究成果 - 田渊栋创立的Recursive公司在NVIDIA官方的GPU kernel优化榜SOL-ExecBench上,取得了整体和四个子类别的SOTA成绩,超越了人类GPU专家手写的方案以及其他由GPU专家打造的AI系统 [1] - 公司在NanoGPT Speedrun这一高难度benchmark上也取得SOTA,该赛道已被全球程序员社区深度优化两年,公司AI系统进一步将纪录向前推进 [2] - 公司公开了其自动化AI研究系统的首批成果,在三个不同的benchmark上均取得SOTA结果,分别对应固定预算下的语言模型训练、小模型训练速度以及GPU kernel优化 [4] 技术方法与系统 - 系统实现了“AI研究AI”的完整闭环,能够自主提出改进想法、编写代码、运行实验、判断结果并决定下一步计划,同时可运行多条研究线程并合并有效经验 [3][5] - 系统在将改进视为真实进展前,会专门检查该提升是否源于reward hack或随机因素,以防止作弊 [5] - 公司选择这三个benchmark是因为它们对应AI进步的三个核心杠杆:更好的训练算法、更快的训练速度以及更高效的硬件利用,且评价指标明确、结果方差低,适合AI自主研究 [5] 具体benchmark表现 - 在NanoChat Autoresearch benchmark上,公司系统在单张GPU、五分钟固定时间预算内,将小语言模型的验证loss优化至0.9109 BPB,优于社区最佳方案的0.9372 BPB [7] - 换算成训练时间,公司方案达到基准水平所需时间仅为社区最佳方案的约77% [8] - 在NanoGPT Speedrun benchmark上,系统在单个8卡H100节点上,将小型GPT模型训练至固定验证loss所需时间从79.7秒优化至77.5秒 [9] - 在英伟达SOL-ExecBench上,系统为235个真实工作负载的GPU kernel编写实现,将平均SOL分数从0.699提升至0.754 [11] 公司背景与融资 - 公司全称为Recursive Superintelligence,团队规模不到30人,已完成一轮6.5亿美元融资,估值达46.5亿美元 [13][16] - 此轮融资由谷歌旗下的GV和Greycroft联合领投,英伟达和AMD等也参与了投资 [13] - 公司核心方向是递归式自我改进,即让AI系统不断改进AI系统本身,并以此推动更广泛的科学发现 [13] 创始团队 - 公司由8位联合创始人共同创办,他们此前分别在OpenAI、Google DeepMind、Meta AI、Salesforce和Uber等机构担任研究负责人,并大多有成功创业经历 [14] - 联合创始人包括CEO Richard Socher、田渊栋、施天麟、Alexey Dosovitskiy、Tim Rocktäschel、Josh Tobin、Caiming Xiong和Jeff Clune,他们在AI领域有深厚背景和显著成就 [14][15] 行业意义与展望 - “AI改进AI”的设想已迈出实质性第一步,公司首批SOTA成果是对其高估值的一次正面回应 [16][17] - 公司计划将这套自动化AI研究系统推向更复杂的真实科研任务,如药物研发、电池材料和核聚变物理等领域 [13][17]
田渊栋创业公司首个成果:GPU内核优化,英伟达官方榜单SOTA