本文作者杨磊，目前在大模型初创公司阶跃星辰担任后训练算法工程师，其研究领域包括生成模型和语言模型后训练。在这之前，他曾在旷视科技担任了六 年的计算机视觉算法工程师，从事三维视觉、数据合成等方向。他于 2018 年本科毕业于北京化工大学。 当前，主流的基础生成模型大概有五大类，分别是 ：Energy-Based Models (Diffusion)、GAN、Autoregressive、VAE 和 Flow-Based Models。 本项工作提出了一种全新的生成模型：离散分布网络（Discrete Distribution Networks），简称 DDN。相关论文已发表于 ICLR 2025。 DDN 采用一种简洁且独特的机制来建模目标分布： 1.在单次前向传播中，DDN 会同时生成 K 个输出（而非单一输出）。 2.这些输出共同构成一个包含 K 个等权重（概率均为 1/K）样本点的离散分布，这也是「离散分布网络」名称的由来。 3.训练目标是通过优化样本点的位置，使网络输出的离散分布尽可能逼近训练数据的真实分布。 每一类生成模型都有其独特的性质，DDN 也不例外。本文将重点介绍 DDN 的三个特性： 零样本 ...