文章核心观点 - 提出MetaSpatial框架，将基于规则奖励的强化微调范式迁移至视觉语言模型的空间布局场景，提升模型空间推理与布局生成质量，实验验证其有效性与通用性，可应用于多种现实场景 [2][3][26] 现有方法问题 - 现有视觉语言模型在三维空间理解任务中缺乏对三维空间结构的真实建模，难以满足物理约束与功能合理性 [1] - 多智能体交互方法计算成本高，易陷入死锁无法收敛至有效解 [1] - 监督微调方法受空间任务限制，无法全面覆盖合理解空间，限制模型泛化能力与生成多样性 [1] MetaSpatial框架 核心问题与特性 - 提出是否可通过规则驱动的强化学习策略为视觉语言模型注入空间推理能力的问题 [2] - 三维布局任务具备强化学习适用特性，强化学习适用于缺乏唯一标准答案、解空间复杂多样的任务 [2] 框架内容 - 首次将基于规则奖励的强化微调策略迁移至视觉语言模型的空间布局场景，构建可程序化评估的奖励函数，引入多轮布局refinement机制 [3] 输入与输出形式 - 输入包括场景图像或房间结构图、房间几何尺寸信息、用户偏好描述、需要布局的目标物体列表 [6][7][8] - 输出包括语言化的推理过程和结构化布局JSON [13] 奖励函数与惩罚机制设计 - 构建三级奖励信号，从结构合法性、物理合理性和主观偏好三个维度评价模型输出，最终奖励为三者加权组合 [12][17] Trajectory生成与多轮布局优化 - 训练阶段采用multi - turn rollout策略，允许模型对布局结果进行多轮refinement，提高布局能力并提供高质量决策路径 [19] 策略优化 - 引入Group Relative Policy Optimization，利用同一输入样本生成的多条trajectory作为一个group进行比较性学习，在样本极少情况下稳定学得空间决策能力 [21][22] 实验结果 - Qwen2.5的7B和3B模型从MetaSpatial框架受益，7B模型性能提升更显著，3B模型在输出格式生成方面存在困难 [23] - 强化学习训练后，模型生成的布局更结构化、逼真，语义更连贯，表现出更强的空间感知等能力 [29] 总结 - 提出MetaSpatial框架，使视觉语言模型直接生成结构合理的三维场景 [30] - 引入多轮布局优化机制与GRPO策略，让模型学习更具泛化性与适应性的空间推理能力 [30] - 构建三重奖励体系，为强化学习提供自适应、可扩展的奖励信号 [30] - 实验证明MetaSpatial能显著提升模型在三维场景生成中的布局连贯性、物理一致性和整体质量 [30]