月之暗面公开强化学习训练加速方法:训练速度暴涨97%,长尾延迟狂降93%
量子位·2025-11-27 12:34
核心技术突破 - 月之暗面联合清华大学推出全新加速引擎Seer,旨在不改变核心训练算法的前提下,大幅提升大语言模型的强化学习训练速度 [1] - Seer框架通过其三大核心模块(推理引擎池、请求缓冲区、上下文管理器)和三项关键技术(分段生成、上下文感知调度、自适应分组推测解码)协同工作,从内存、调度、推理三个维度全面优化rollout效率 [9][10][11][20] - 该技术针对RL训练中耗时的生成阶段,解决了其固有的工作负载不均衡和长尾延迟问题,资源利用率较低 [6] 性能提升数据 - 实验结果显示,Seer在不同工作负载下,相比基线系统veRL,吞吐量提升74%至97% [3][23] - 在长尾延迟方面,Seer表现显著优于veRL,例如在Moonlight任务中,veRL最后10%请求耗时3984秒(占总时长约50%),而Seer仅需364秒,延迟降低85% [23] - 在Qwen2-VL-72B和Kimi-K2任务中,长尾延迟分别降低93%和75% [23][24] - 专项实验表明,Seer的上下文感知调度策略在吞吐量上可达到理想Oracle水平的95%,其长尾延迟仅为无上下文调度策略的13% [27][28] 公司融资与资本动态 - 月之暗面即将完成新一轮融资,融资金额高达数亿美元,完成后公司估值将提升至40亿美元 [32][33] - 公司正与IDG Capital等投资机构洽谈,潜在投资方包括现有股东腾讯 [36] - 预期本轮融资将于今年年底前完成,并计划在明年下半年启动IPO进程 [37]