多模态大模型技术进展 - 当前多模态大模型在复杂文本提示生成高保真图像方面取得进展，但在处理精确空间关系、多对象属性及复杂组合指令时仍面临挑战[1] - 香港大学MMLab、香港中文大学MMLab和商汤科技团队推出GoT-R1框架，通过强化学习增强语义-空间推理能力，超越预定义模板限制[2][3] - GoT框架通过显式语言推理过程规划语义内容和空间布局，提升图像生成准确性和可控性，但依赖人工定义模板限制了自主推理潜力[4] GoT-R1技术创新 - GoT-R1创新性应用强化学习于视觉生成，赋予模型自主学习和优化推理路径能力[5] - 构建双阶段多维度奖励框架：推理过程评估奖励(RPR)、推理至图像对齐奖励(RRI)、语义对齐奖励(Rsem)、空间对齐奖励(Rspa)、文本提示至图像对齐奖励(RPI)[14][15][16][17] - 采用组相对策略优化(GRPO)强化学习算法，使模型主动探索更优质推理策略，突破训练数据固定模式限制[18] 性能评估与行业对比 - GoT-R1-7B在T2I-CompBench六个评估类别中五个(色彩、形状、纹理、非空间属性、复杂组合)取得最高分，确立新SOTA性能[22][23] - 相比监督微调基线模型(Janus-Pro-7B-GoT)，GoT-R1-7B指标提升达15%，纹理和形状保真度显著进步[24] - GPT-4o评估显示GoT-R1在空间关系理解类别以84:16压倒性优势胜出，证明其从根本上优化了模型推理能力[25] 技术实现细节 - GoT依赖840万图像生成样本和92万图像编辑样本构建的大规模推理链图文对数据集，结合Qwen2.5-VL等多模态大模型[10] - 独创语义-空间指导模块(SSGM)增强扩散模型遵循推理链能力[10] - 空间对齐奖励创新性将文本坐标转换为可视化布局供MLLM评估，显著提升空间关系判断准确性[16]