未来帧合成（FFS）综述核心观点 - FFS任务目标是从历史帧或单帧生成未来帧序列，强调合成能力并扩展视频预测范围[1] - 领域经历了从确定性方法向生成性方法的演变，生成模型在产生逼真多样化预测中的作用日益重要[1] - 关键挑战包括平衡像素保真度与场景理解、评估指标设计、长期合成困难等[5] - 未来方向在于预测技术与生成技术的协同整合，实现更稳健连贯的合成[4] 研究方法分类 确定性范式 - 采用CNN、RNN、LSTM等架构进行像素级拟合，但易产生模糊输出[9] - Transformer架构逐渐挑战传统方法主导地位，如ViT、Swin Transformer等[9] - 优化PSNR/SSIM等指标会导致模型对多个未来取平均[10] 随机性范式 - 通过随机变量或概率模型建模视频动态不确定性[10] - 包括VAE、GAN等方法，能产生多样化预测但可能偏离真实值[10] - 面临多样性、视觉保真度和计算效率的平衡挑战[46] 生成性范式 - 优先考虑连贯合理的视频序列而非像素级保真度[10] - 利用扩散模型、LLM等先进生成技术[10] - 在对象出现/消失等复杂场景表现更优[59] 关键技术进展 架构创新 - 循环网络（PredNet、PredRNN）在时空建模中表现突出但计算复杂[26] - 卷积网络（SimVP）简化架构实现相当性能[29] - Transformer架构（TimeSformer、ViViT）处理时空信息能力显著[9] 运动建模 - 光流方法（DMVFN）在短期预测有效，长期生成仍存挑战[31][33] - 3D高斯表示（GaussianPrediction）等新方法探索运动表示[34] - 内容-运动解耦（LEO、D-VDM）提升逼真度[48] 生成模型 - 扩散模型（Video LDM、SEINE）实现高质量视频生成[60][61] - 基于令牌方法（MAGVIT、VideoPoet）探索LLM在视觉生成的应用[67][69] - 大型模型（HunyuanVideo 13B）展现强大生成能力[63] 应用领域 自动驾驶 - GAIA-1整合多模态LLM和扩散模型提升决策能力[74] - 视觉语义信息利用显著改善行为预测[74] 机器人技术 - GR-1/2显示视频生成预训练大幅提升操作能力[75] - 在动态环境中实现高效路径规划和避障[75] 电影制作 - 生成逼真场景增强叙事连贯性和艺术表达[77] - 可控合成技术（CineMaster）支持精确场景控制[58] 数据集发展 - 数据集复杂性和分辨率持续提升（如HD-VILA-100M）[21] - 高质量高分辨率数据集仍稀缺，限制模型泛化能力[18] - 多模态标注（文本、深度、语义等）成为趋势[21]