背景 | 基于似然的生成模型 近年来，扩散模型（Diffusion Models）和自回归模型（Autoregressive Models）在图像生成中占据 主导地位，如 NVIDIA 的 EDM 系列扩散模型和字节跳动以 VAR 为代表的视觉自回归模型。相比 GAN（Generative Adversarial Networks）这类直接优化数据生成过程的隐式生成模型，扩散模型和 自回归模型均属于 基于似然的生成模型 （Likelihood-Based Generative Model），它们显式估计数 据的对数似然（log-likelihood），具有 训练稳定、样本多样性强、容易规模化的特点 。 文章一作郑凯文为清华大学三年级博士生，研究方向为深度生成模型，曾提出流式扩散模型最大似然估 计改进技术 i-DODE，扩散模型高效采样器 DPM-Solver-v3，扩散桥模型采样器 DBIM 以及掩码式 离散扩散模型采样器 FHS 等。 清华大学朱军教授团队与 NVIDIA Deep Imagination 研究组联合提出一种全新的视觉生成模型优化范 式 —— 直接判别优化（DDO）。该方法将基于似然的生成模 ...

人工智能教育系列 - 微软副总裁Nando de Freitas在X平台上发布人工智能教育系列帖子，内容涵盖LLM强化学习、扩散模型、流匹配等技术发展[1] - 该系列因内容硬核导致读者参与度下降，但仍对RL和大模型学习者具有重要价值[3][4][5] - 系列将持续更新，后续将拓展至多步强化学习等进阶内容[6][82] 机器学习范式比较 - 监督学习通过最大似然估计实现状态-行动映射，依赖高质量专家数据，是大语言模型预训练的核心原理[9] - 强化学习采用选择性模仿机制，可从次优数据中学习并超越教师，具备自我提升特性[10][13][14] - 生成模型发展是过去十年强化学习进步的主要驱动力，而非算法创新[18] 分布式强化学习系统 - 工业级LLM强化学习需处理数百万次并行交互，涉及数十亿参数模型，成本极高[23] - 现代系统采用Actor-Learner架构：Actors负责环境交互与数据收集，Learners负责策略更新[23][24] - 聊天机器人场景中，Actors是对话接口，环境是用户，Learner需更高计算资源处理梯度统计[26] 强化学习技术方法 - 单步RL针对单一动作优化，多步RL需解决信用分配问题，后者在对话系统中尤为关键[35][38][40] - 策略梯度算法通过最大化期望回报实现策略优化，包含on-policy和off-policy两种范式[47][49][51] - 基线减法和KL散度是降低方差、保持策略稳定的关键技术[56][57][67][69] 前沿优化算法 - 重要性采样通过权重修正解决off-policy数据偏差，但存在高维空间不稳定性[73][75][76] - PPO算法通过裁剪机制控制策略更新幅度，结合KL约束提升训练稳定性[78] - DeepSeek-R1采用加权方案动态调整新旧数据贡献度，形成完整强化学习解决方案[29][78]