核心观点 - 提出ETT（End-to-End Vision Tokenizer Tuning）方法，实现视觉tokenization与目标自回归任务的联合优化，打破传统方法中视觉tokenizer固定不变的局限 [4] - ETT通过引入视觉tokenizer的码本嵌入和token级别字幕损失函数，使视觉tokenizer能根据下游任务反馈调整参数，显著提升多模态任务性能 [6] - 在模型参数和数据规模更小的条件下，ETT在多项基准测试中达到或超越现有最先进视觉语言模型的表现 [12][14][17] 传统方法的局限与ETT的突破 - 传统方法使用冻结的视觉tokenizer离散索引，导致特征表示能力浪费且无法端到端训练 [6] - ETT创新性引入码本嵌入（码本大小131,072，特征维度256）替代离散索引，结合联合优化策略释放视觉tokenizer潜力 [6][10] - 相比Emu3等框架，ETT简化模型架构并减少计算开销，同时提升多模态理解能力 [12] ETT核心架构与训练策略 - 基于改进的IBQ框架，分三阶段训练：前期对齐学习（冻结参数训练投影层）、语义学习（端到端联合优化）、后训练（特定任务微调） [10][11] - 训练中同时优化caption损失函数和重建损失函数，保持图像重建能力的同时增强语义感知 [11] - 投影层采用多层感知机，匹配视觉嵌入与预训练语言模型的隐藏层维度 [10] 性能表现 多模态理解 - MMBench测试中性能与连续编码器模型相当，部分子任务更优（如ETT 58.8 vs QwenVL-Chat 60.6） [12] - 在GQA（59.4）、TextVQA（56.8）等任务中表现优于Chameleon（47.2/4.8）等离散VLM模型 [12] 多模态生成 - 在T2I-CompBench的颜色（81.03）、形状（58.19）、纹理（72.14）子任务上超越Emu3（79.13/58.46/74.22） [15] - GenEval测试中Overall得分0.63，接近DALL-E3（0.67）且优于SDXL（0.55） [15] 视觉重构 - 保留低级细节的同时提升高级语义表示能力，如改善文本渲染效果 [17] 潜在发展与局限 - 当前数据规模和模型容量仍有扩展空间 [19] - 未来计划探索从头训练视觉tokenizer，并扩展至视频、音频等多模态场景 [19] - 方法易于实现集成，有望推动多模态基础模型应用 [25]