Meta AI研究进展 - Yann LeCun团队开发PEVA模型，实现具身智能体16秒连贯场景预测能力，模拟人类预判行为[2][6][9] - 模型通过结构化动作表示结合48维关节运动学数据与条件扩散Transformer，捕捉整体移动和关节精细运动[3][16][18] - 采用第一人称视角视频+全身姿态轨迹训练，替代传统抽象控制信号[4][13] 技术架构创新 - 随机时间跳跃训练解决长时序预测效率问题，支持16帧采样窗口内的多尺度动作学习[24][28] - 运动学树结构编码包含骨盆根节点3D平移和15个关节45维欧拉角，总维度48维[25] - 条件扩散Transformer通过跨历史帧注意力机制建模动作延迟效应，LPIPS值比基线低5%-8%[22][34][37] 性能表现 - 单步预测中LPIPS降低0.01，FID降低1.42，生成质量优于CDiT基线[33][35] - 16秒长序列预测FID值比Diffusion Forcing低15%以上，时序连贯性显著提升[38][40] - 支持多动作序列智能规划，如开冰箱任务中排除不合理路径选择最优解[8][42][43] 数据与训练 - 使用Nymeria数据集训练，包含同步第一视角视频与全身动作捕捉数据[26] - 局部坐标系转换实现动作表示的平移/旋转不变性，归一化处理帧间差分数据[25] - VAE编码器用于视觉特征转换，尽管LeCun曾公开批评VAE的局限性[45][46][47]