文章核心观点 - 南洋理工大学MMLab与上海人工智能实验室提出PhysLDM，这是首个面向体网格可变形动力学的高保真时空自编码器与隐空间扩散范式，只用一个模型即可一次性生成高分辨率可变形物体的整段仿真轨迹，重建精度达毫米级，能零样本泛化到未见物体，且端到端可微 [1] - PhysLDM让高保真物理仿真走上生成式AI道路：用时空VAE压缩整段轨迹，再用扩散模型一次生成，在毫米级重建精度上实现零样本泛化，并揭示在混沌形变动力学中扩散比回归更符合物理，是迈向物理世界模型的重要一步 [26] 行业背景与痛点 - 过去几年神经网络接连改写图像生成、视频生成、3D渲染等领域，但在高保真物理仿真上始终未交出满意答卷，游戏、动画和机器人领域至今仍依赖需手动调参、难以求梯度的传统求解器 [1] - 难点一：主流神经仿真器（如MeshGraphNets）用上一帧预测下一帧，误差逐帧累积导致轨迹漂移，根治需像视频生成那样一次性生成整段轨迹 [5] - 难点二：高保真形变仿真需几千到上万个顶点的体网格且顶点数各异，几十帧、上万顶点送入Transformer时平方级注意力复杂度难以承受，团队实测在140GB显存的H200上不做压缩时单个样本到2600个顶点就会爆显存 [5] - 难点三：此前物理仿真领域大多只压缩单帧，较少对整段轨迹做时空压缩，视频领域的时空VAE直接搬用也不好用 [6] - 难点四：神经仿真器长期被诟病换个物体就不灵，泛化差 [7] - 四个难点环环相扣：要消除漂移就得一次性预测，要一次性预测就得时空压缩，而压缩不仅要准还得能泛化 [8] 技术方案：时空VAE设计 - 要让扩散模型生成物理，首先需要一个把整段仿真轨迹压缩得又小又准的时空VAE，相当于物理仿真的tokenizer，这是PhysLDM最核心、团队投入精力最多的部分 [10] - 照搬视频VAE时间压缩（每隔几帧合并成一个隐变量帧再上采样还原）会导致物体形变停一下再跳一下的台阶伪影，静态截图几乎看不出、一播放却非常明显；加入速度损失、频谱损失及让隐变量帧在时间上自适应分布均无法消除 [10] - 直接压缩世界坐标会使几何细节杂乱；让刚体运动和形变共用同一套时间压缩会使平移误差急剧增大、形变被严重压扁 [10] - 最终靠两个关键设计解决问题：一是把每帧拆成整体刚体运动加局部形变，让网络专心学习只有几毫米的形变本身；二是整体式时间压缩，用一组可学习的时间query汇总整段轨迹，无论物体多少顶点都压缩成固定数量token，压缩率最高可达78倍 [10] - 为解决泛化性，团队使用GPU有限元求解器StiffGIPC在3万多个Objaverse物体上生成约8万条仿真轨迹，时空VAE平均重建误差仅2.48毫米 [11] - 在该隐空间上，PhysLDM再用扩散模型一次性生成整段轨迹 [12] 泛化能力表现 - PhysLDM用一个模型应对各种情况：在Objaverse上训练后直接用到从未见过的GSO、Toys4K物体上，重建误差与训练分布内保持同一水平 [14] - 面对超过训练顶点上限两倍多的高分辨率网格，误差仍只有约5毫米 [14] - 换成另一种能量模型（ARAP）生成的运动，零样本重建误差仅4.6毫米；真实采集的点云轨迹零样本重建误差仅6毫米 [14] - 泛化得益于海量多样的训练几何，以及只用运动学监督、不绑定任何本构模型的训练方式 [15] 关键洞察：扩散优于回归 - 团队发现即使是传统求解器结果也不一定确定：同一场景、字节级完全相同的输入在GPU求解器上跑五次，最终状态明显不同，顶点最远相差442毫米，GPU的极微小差异被复杂形变的混沌特性迅速放大成完全不同的结局 [17] - 面对多个可能结局，回归模型会被拉向平均值而得到不符合物理的结果，例如掉落的钥匙两次运行分别向两个方向倒下时，扩散模型每个采样都落向其中一个正确方向，回归模型却给出两边都不像的平均 [19] - 实验中PhysLDM的物理一致性明显优于回归和自回归方法，其中自回归方法的误差接近PhysLDM的三倍 [19] - 不需要改动模型结构，PhysLDM还能扩展到多物体场景 [21] 应用潜力与行业反馈 - PhysLDM端到端可微并支持高阶求导，只给一条运动轨迹能在约40秒内反推出物体材料刚度，而现有可微仿真器要么需手动调参、耗时二十多分钟，要么直接失败 [24] - 它还能完成怎样扔一个物体最能看出其材料的二阶优化，现有可微仿真器做同样的事需要好几天 [24] - 真实点云零样本重建展现出PhysLDM直接从真实世界学习物理的潜力 [24] - 论文发布后在海外收到不少研究者和从业者积极反馈，一位机器人仿真从业者感慨要花好几个小时才能把物理效果调对，软体物理的自动化将会改变游戏规则；另一位研究者认为扩散模型正经历一场模态爆炸，而PhysLDM扩散的对象正是可变形网格的运动轨迹这一新模态 [24] - 有研究者指出神经仿真虽尚未被广泛使用但潜力巨大：可在真实数据上微调、端到端可微、能在隐空间中做规划，其中端到端可微和从真实数据中学习两点PhysLDM已给出初步验证 [25]