技术突破与核心创新 - 提出PhysX-Anything框架，是首个面向仿真、具备物理属性的3D生成范式，仅需单张图像即可生成高质量、可直接用于仿真的3D资产[5] - 该框架能同时生成显式几何结构、关节运动以及物理参数，解决了现有方法普遍缺失密度、绝对尺度、关节约束等关键物理信息的问题[5][6] - 采用由粗到细的生成框架，通过多轮对话依次生成整体物理描述与各部件几何信息，最终解码输出六种常用格式的可仿真3D资产[8] 技术实现细节 - 提出一种新型3D表征方式，基于体素构建几何表示，在32体素网格上由视觉语言模型建模粗略几何，再由下游解码器细化，实现超过193倍的token压缩比[10][27] - 设计可控的flow transformer模块，将粗体素表示作为扩散模型的引导信号，以控制细粒度体素几何的生成[14] - 使用最近邻算法将重建网格划分为部件级组件，结合全局结构信息与细粒度体素几何，生成用于仿真的URDF、XML及部件级网格[15] 性能评估与比较 - 在PhysX-Mobility数据集上的评估显示，PhysX-Anything在几何与物理两类指标上均取得最优表现，其绝对尺度误差大幅降低至0.30[18][19] - 在基于视觉语言模型的评估中，PhysX-Anything在几何与运动学参数两项指标上均显著优于所有对比方法，得分高达0.94[20][21] - 人类志愿者评估结果显示，PhysX-Anything的生成结构在几何与物理属性都获得最高分，几何得分为0.98，物理属性多项得分在0.84至0.98之间[22] 应用潜力与行业影响 - 生成的仿真就绪3D资产可以直接导入模拟器，并用于接触丰富的机器人策略学习，展示了在推动多种下游机器人与具身智能应用方面的巨大潜力[25][26] - 该框架有望为3D视觉、具身智能与机器人研究开辟新的方向，推动从“视觉建模”到“物理建模”的范式转变[28] - 团队构建了覆盖47个常见真实类别、具备丰富物理标注的PhysX-Mobility数据集，大幅拓展了现有物理3D资产的多样性[27]