文章核心观点 - 一篇由南京大学、中科院自动化所、北京大学等机构联合发表的综述《A Survey of Unified Multimodal Understanding and Generation: Advances and Challenges》，首次系统性地定义了“统一基础模型（UFM）”概念，并构建了涵盖架构、技术、训练、应用的全景研究框架，旨在解决开源社区在多模态模型“理解”与“生成”能力协同上的混乱现状，为未来发展指明方向 [1][4] 统一基础模型（UFM）的演进历程 - UFM的演进被划分为三个阶段：第一阶段为“特定阶段”，理解与生成由完全独立的模型负责，如CLIP用于图像分类（理解），Stable Diffusion用于文生图（生成），两者无交互 [6][10] - 第二阶段为“融合阶段”，研究者将理解和生成模块整合到同一框架中，通过中间层实现协同，例如MiniGPT-5通过文本指令介导LLM生成描述再调用Stable Diffusion，NExT-GPT则通过特征介导直接控制生成模块 [7][10] - 第三阶段为“涌现阶段”，是UFM的终极目标，模型能像人类一样在理解和生成间无缝切换，以完成如“脚本驱动电影生成”等高度复杂的跨模态任务，但目前尚无模型能完全实现，仅部分模型在局部任务上展现出潜力 [8][9][10] 统一基础模型（UFM）的核心架构分类 - 架构根据“理解与生成模块的耦合度”分为三大类：外部服务集成建模、模块化联合建模和端到端统一建模 [11] - **外部服务集成建模**：LLM作为“任务调度员”，调用外部专门模型完成工作，代表模型有Visual ChatGPT、HuggingGPT、AudioGPT，优点是开发快、资源需求低，缺点是依赖外部模块质量、调用效率低且可能出现信息损耗 [12][13][17][18] - **模块化联合建模**：LLM作为核心处理理解任务，并通过“中介层”直接控制生成模块，细分为“提示介导”和“表示介导”两种方式，前者如EasyGen、GPT4Video，后者如Emu2、GILL、PUMA，优点是生成质量高、灵活性强，缺点是中介层可能成为瓶颈 [15][16][19] - **端到端统一建模**：模型在单一架构内同时处理理解和生成，是当前研究主流，根据生成机制又分为三类：自回归架构（如Emu3、LWM）、扩散架构（如Versatile Diffusion、UniDiffuser）、自回归-扩散混合架构（如Transfusion、BAGEL），优点是语义一致性强，能处理复杂跨模态任务，缺点是训练难度大、计算成本高 [20][21][24][25] 统一基础模型（UFM）的关键技术细节 - **编码策略**：核心是将多模态数据转化为模型能处理的表示，分为三类：连续编码（如CLIP ViT、VAE、Q-Former）、离散编码（如VQGAN、MoVQGAN、SEED Tokenizer）、混合编码（如级联编码的SEED、双分支编码的Janus） [22][23][26][27][30] - **解码策略**：是编码的逆过程，将模型输出转化为人类可理解的内容，同样对应三种形式：连续解码（依赖扩散模型，如Stable Diffusion，常加入“视觉先验”提升质量）、离散解码（依赖VQ-VAE类解码器，如VQGAN，部分模型会做“token压缩”以加速）、混合解码（如LaVIT、ILLUME+） [28][29][31] - **训练流程**：分为预训练、微调和数据处理三大环节 [30] - 预训练核心是搭建编码器-解码器、对齐模块、骨干网络三大模块，并优化多任务目标（如自回归的next-token预测损失、扩散的降噪损失） [32] - 微调包括任务监督微调（通用任务与多任务）和对齐微调（基于人类偏好，如DPO、GRPO），Emu3使用DPO微调后生成质量显著提升 [34][35] - 数据处理来源主要有四类：网络爬取（如LAION-5B的58亿图像-文本对）、公开数据集、私有数据、合成数据，筛选需经过属性、质量、安全三关，并格式化为“指令-输入-输出”结构 [36] 统一基础模型（UFM）的下游应用 - **机器人（具身智能）**：用于“视觉-语言-动作（VLA）”统一建模，例如LCB模型生成推理文本和动作序列，SEER用扩散模型预测目标图像以辅助机器人感知 [37][42] - **自动驾驶**：实现端到端的“感知-预测-规划”统一，例如DrivingGPT用自回归模型联合预测未来帧和车辆轨迹，Hermes用UFM预测未来LiDAR点云以提升决策可靠性 [37][42] - **世界模型**：构建物理真实的4D场景预测，例如Aether用扩散模型生成视频、深度、相机姿态，TesserAct能预测场景的表面法线、深度等细节以支持机器人交互 [37][42] - **医学**：轻量化适配医疗场景，例如LLM-CXR通过指令微调让LLM处理胸片分析并支持双向任务，HealthGPT扩展到CT、OCT等模态甚至能做跨模态生成 [37][42] - **视觉任务**：统一“感知-生成-3D重建”，例如LLMBind用MoE架构集成目标检测、分割等任务，ShapeLLM-Omni用3D VQVAE处理3D理解与生成 [37][42] 统一基础模型（UFM）的未来研究方向 - **建模架构**：需重点探索“自回归-扩散混合架构”，并优化MoE（混合专家）结构，让不同专家负责不同模态以提升协同效率 [40][42] - **统一分词器**：需开发能同时捕捉语义和细节的分词器，尤其是解决视频“长视频token爆炸”问题以提升时序建模能力 [40][42] - **训练策略**：需构建“模态交织数据”（如文本-图像-视频的连续序列），并设计能同时评估“理解准确性”和“生成质量”的统一奖励函数 [40][42] - **基准测试**：需设计专门评估“理解-生成协同”能力的基准，以真正衡量UFM的“统一能力” [40][42]