Workflow
TOPLOC
icon
搜索文档
全球闲置算力训个模型,性能媲美R1,老黄天塌了!Karpathy曾投资它
量子位· 2025-05-13 12:45
核心观点 - 全球首个分布式RL训练模型INTELLECT-2发布,通过整合全球闲置计算资源显著降低训练成本,性能媲美DeepSeek-R1 [1][2] - 分布式训练范式可能终结大公司算力垄断时代,未来顶级开源模型或将以分布式方式训练 [2][10] - 模型采用去中心化异步强化学习框架,四大开源组件实现算力众包、参数分发、数据验证和资源管理 [26][30][36] - 实验数据显示INTELLECT-2在数学和编程基准测试(AIME24 78.8分、LiveCodeBench 67.8分)上超越基线模型QwQ-32B [64][65] 技术架构 分布式训练框架 - 核心RL框架PRIME-RL支持推理与训练解耦,集成vLLM(bfloat16精度)和FSDP切片技术提升性能 [31][33][34] - 参数分发网络SHARDCAST采用分片传输、多级缓存和智能调度,实现590Mb/s带宽吞吐量 [37][39][65] - 推理验证协议TOPLOC通过密码学proof确保数据可信性,仅需验证关键中间状态 [45][49][50] - Protocol Testnet构建去中心化算力池,通过账本系统管理节点身份与贡献度 [52][54] 训练优化 - 采用两步异步强化学习消除通信瓶颈,双面GRPO剪辑缓解梯度尖峰 [56][59] - 使用28.5万可验证任务(数学/编码)结合离线过滤提升学习效率 [60] - 在TARGET-SHORT实验中任务奖励显著提升,TARGET-LONG尚未完全收敛 [69] 团队与融资 - Prime Intellect团队位于旧金山,核心成员包括CEO Vincent Weisser(连续创业者)和CTO Johannes Hagemann(德国背景) [70][72][74] - 2024年2月获1500万美元融资(累计超2000万美元),投资者含Karpathy、HuggingFace联创等AI界名人 [77][78] - 此前已发布INTELLECT-1(10B参数分散式模型)、METAGENE-1(生物模型)等成果 [76][80] 产品与规划 - INTELLECT-2支持网页端文本输入,实测可解决复杂数学问题(如外星人分裂概率解析解) [11][15][20] - 计划扩展推理工具链(网络搜索、Python解释器)、融合独立RL模型,并扩大去中心化训练生态 [79][81]