文章核心观点 - 机器人技术发展的核心瓶颈并非硬件性能，而在于机器人缺乏对人类物理世界的直观理解和预测能力 [1][2] - 基于学习的动力学模型通过从感知数据中直接学习物理交互规则，为解决机器人操作中的物理预测难题提供了新路径 [2][8] - 该方法已显著提升机器人处理可变形物体、颗粒物质及多物体交互等复杂任务的能力，有望推动机器人从实验室演示走向日常应用 [5][6][20] 基于学习的动力学模型概述 - 与传统基于物理原理的模型不同，基于学习的模型直接从原始感官数据推导状态转移函数，无需完整状态信息即可捕捉复杂物理因素 [8][20][24] - 学习模型能够补偿状态估计误差并绕过显式状态估计步骤，有效弥补传统解析模型的"仿真到现实差距" [20][33] - 习得模型具有端到端可微性，支持基于梯度的规划与控制，且在非刚性系统中计算效率高于解析求解器 [20][35] 状态表示方法及权衡 - 原始像素表示直接使用RGB-D等二维特征图，无需显式状态估计但计算开销大，且存在物体恒存性和时间一致性问题 [36][40] - 潜在表示将高维观测压缩为低维隐向量，提升学习效率与泛化能力，但可能丢失任务相关信息 [36][42][46] - 三维粒子表示显式编码几何结构，精确捕捉可变形物体形状，但需要精确感知和状态估计，对遮挡敏感 [36][47][50] - 关键点表示聚焦任务相关特征，提供高效计算方式，支持实时控制，但对遮挡敏感且需保持跨时间检测一致性 [10][52][56] - 物体中心表示将场景建模为离散实体，支持组合泛化，适用于多物体操作，但难以处理流体等连续材料 [11][57][62] 与机器人控制的集成 - 运动规划方法利用习得动力学模型进行轨迹优化和路径搜索，在缺乏精确解析模型的环境中实现可行路径规划 [12][70][71] - 策略学习通过从模型生成的仿真数据中学习状态-动作映射，或结合强化学习优化策略，减少对真实环境交互的依赖 [12][14][72][74] - 集成应用已覆盖物体重定位、可变形物体操作、多物体交互和工具使用等复杂任务场景 [75][76][77][78][84] 未来研究方向 - 感知领域需开发应对部分可观测性和多模态信号融合的新方法，以提升状态估计的稳健性 [15][87][89][90] - 动力学学习需重点提升模型在未探索状态-动作空间的稳健性，并探索利用基础模型提供物理先验 [15][91][92][93] - 控制领域机遇包括分层动力学建模与规划、学习规划算法以及结合不确定性量化的性能保证技术 [15][97][98][99] - 新兴表示方法如3D高斯泼溅技术可能为动态场景建模提供更灵活的解决方案 [95]