贝叶斯框架

搜索文档
砍掉99%采样成本!腾讯AI Lab提出大模型无监督训练新技术
量子位· 2025-03-12 11:59
突破大模型训练算力瓶颈 数据生产是训练大模型 (LLM) 过程中的一大难题,尤其是算力成本的快速攀升给研究和应用带来了巨大挑战。 传统方法在让模型学会推理时,通常采用生成大量候选解,然后从中筛选出正确的推理路径进行训练的方式。 这种策略看似直接,但实际操作中却面临诸多困难。 以数学解题为例,上述方法通常需要为每道题目生成16个候选解,再从中筛选出正确的完整推理链。 这种方式对算力的需求极大——每次训练迭代,模型需要进行数十次采样,GPU算力消耗呈现快速增长的趋势。 单次数据生产可能消耗数百万token的算力资源,而当题目难度增加时,所需的采样量和算力开销还会进一步提升。 这种高成本的训练方式,不仅效率较低,也成为技术落地的一大障碍。 在小规模实验中,这种方法尚可勉强支撑,但若面对百万级题库,算力成本的压力将变得难以承受。 研究团队发现,与其让模型进行大量盲目采样,不如将重点放在 识别真正重要的正确推理信号 上。 这种更有针对性的策略不仅能够提升效率,还能显著降低算力开销。接下来,我们将进一步探讨他们的核心发现和解决方案。 腾讯AI Lab 投稿 量子位 | 公众号 QbitAI 只要微调模型生成的前8-32个 ...