生成模型与潜在空间 - 潜在空间作为生成模型核心驱动力，通过压缩复杂信息实现图像、语音等高效生成 [2][3] - 主流生成模型包括变分自编码器(VAEs)、生成对抗网络(GANs)和扩散模型，均依赖潜在变量支持 [3] - VQ-VAE通过离散潜在空间提升图像生成效率，分辨率可达256×256，空间位置减少256倍 [16][18] 两阶段训练方法 - 第一阶段训练自编码器，包含编码器和解码器两个子网络 [7] - 第二阶段在潜在表征上训练生成模型，参数冻结编码器 [7] - 使用多种损失函数：回归损失(MAE/MSE)、感知损失(LPIPS)和对抗损失 [10][49] 潜在空间技术演进 - VQGAN结合GANs对抗学习机制，成为近五年感知信号生成建模核心技术 [18] - 潜在扩散模型(LDM)将VQGAN与UNet结合，形成稳定扩散模型基础 [19] - 潜在表征容量由下采样因子和通道数控制，典型配置如256×256输入生成32×32潜在网格 [35] 潜在空间设计权衡 - 需要在重建质量与可建模性之间取得平衡 [30] - 总空间冗余(TSR)是关键参数，影响模型容量与效率 [36][41] - 潜在表征应保留输入信号网格结构以利用神经网络架构优势 [76] 多模态应用 - 视觉领域潜在空间技术最成熟，已广泛投入生产 [83] - 音频领域常复用自监督学习表征，视频领域面临时间维度挑战 [83] - 语言模态因冗余度低难以压缩，但有损表征学习仍在探索中 [84] 未来发展方向 - 两阶段方法在效率优势下仍将主导，端到端学习尚未成熟 [86] - 硬件进步可能推动单阶段模型回归，但需突破计算效率瓶颈 [87] - 分辨率级联方法因错误积累问题逐渐失宠 [89]