宁波东方理工大学联合上海交通大学、中国科学技术大学招收机器人方向联培直博生。学生在上海交大 （或中科大）注册学籍，第一年在上海交大（或中科大）进行课程学习与科研工作，之后在东方理工从事 科研工作，双导师指导，毕业后获得上海交大（或中科大）颁发的博士学位和毕业证书。 导师：李晓聪，宁波东方理工大学助理教授（副研究员、博士生导师），同时兼任新加坡国立大学客座助 理教授（Adjunct Assistant Professor）及哈佛大学工程与应用科学学院客座研究员（Associate）。于2013年 和2017年分别获得新加坡国立大学学士学位和博士学位，曾任哈佛大学博士后以及新加坡科研局制造技术 研究院（SIMTech, A* STAR）科学家。主要研究方向为控制、学习与机器人交叉领域，并累计获得千万级 别的科研资助，以推动相关领域的研究发展。现担任国际期刊IEEE Transactions on Automation Science and Engineering (T-ASE) 和 IEEE Robotics & Automation Magazine (RAM) 副主编（Associate Editor）。 ...

研究方法 - 通过模仿学习训练视觉运动策略的有效性已被证实 但性能依赖大量现实世界数据收集[2] - 研究目标是利用现成或低成本数据（如公开机器人数据集和人类摆弄物体数据集）减少数据收集工作量[2] - 采用光流作为具身无关的动作表示 在跨多个具身数据集上预训练世界模型 再用少量目标具身数据进行微调[3] - 提出潜在策略引导(LPS)方法 通过在世界模型潜在空间中搜索更优动作序列改进策略输出[3] 实验成果 - 结合预训练世界模型后 仅用30次示范数据可使策略性能相对提升超过50%[3][9] - 使用50次示范数据时策略性能相对提升超过20%[3][9] - 预训练数据源包括Open X-embodiment数据集（两千个片段）和低成本人类玩耍数据集[3] 技术优势 - 光流能够打破不同机器人实体间的差异[12] - 世界模型比策略模型更适合进行跨实体预训练和新实体微调[12] - 潜在策略引导方法有效利用世界模型提升策略模型性能[12] 行业痛点 - 机器人学习成本高昂 单个任务常需数小时数据采集[11] - 不同机器人实体差异给模型预训练带来挑战[11] - 现有方法可有效利用已有数据减少新数据采集需求[11]

研究团队与背景 - 第一作者陈昌和是美国密歇根大学研究生，研究方向为基础模型、机器人学习与具身人工智能，专注于机器人操控、物理交互与控制优化[1] - 第二作者徐晓豪是密歇根大学机器人学院博士生，研究涵盖3D感知、视觉语言模型驱动的多模态异常检测及鲁棒三维重建[2] - 共同第一作者Quantao Yang是瑞典皇家理工学院博士后，研究聚焦于利用视觉语言模型与大型语言模型提升自主系统在动态环境中的感知与导航能力[3] ViSA-Flow框架创新 - 提出革命性的机器人技能学习方法ViSA-Flow，能够从大规模人类视频中提取语义动作流，显著提升数据稀缺情况下的学习效率[4] - 在CALVIN基准测试中表现卓越，仅使用10%训练数据就超越使用100%数据的现有最佳方法[4] - 引入语义动作流作为中间表示，捕捉操作器-物体交互的本质时空特征，不受表面视觉差异影响[10] - 包含三个关键组件：语义实体定位、手-物体交互跟踪、流条件特征编码[11][12][13] 技术实现与评估 - 采用两阶段学习框架：预训练阶段学习ViSA-Flow动态先验，微调阶段进行策略适应[16] - 在CALVIN基准测试中，ViSA-Flow仅使用10%数据(1,768个)就超越所有基线方法，包括使用100%数据的方法[18][19] - 在5个连续任务完成方面达到31.4%成功率，是使用10%数据的次佳方法GR-MG(16.2%)的近两倍，甚至超过使用100%数据训练的SuSIE(26.0%)[19] - 平均序列长度达到2.96，证明其在处理长时程操作任务方面的有效性[20] 技术优势与局限性 - 技术优势包括数据效率高、跨域泛化能力强、长时程稳定性好、语义一致性佳[40] - 当前局限性包括缺乏显式3D几何和接触动力学建模、依赖预训练VLM组件、在精细物理交互任务中可能存在限制[40] - 未来发展方向包括增强物理建模、减少对预训练组件的依赖、与强化学习算法结合、扩展到网络规模视频语料库进行预训练[40] 研究意义与展望 - 为机器人学习领域带来重要突破，证明从大规模人类视频中提取语义表示进行机器人技能学习的可行性[36] - 成功桥接人类演示视频观察与机器人执行之间的差距，为构建更智能、高效的机器人学习系统开辟新方向[37] - 有望在工业自动化、家庭服务机器人、医疗辅助等多个领域发挥重要作用，推动机器人技术向更加智能化和普适化方向发展[38]

人形机器人 - 马斯克表示SpaceX将于2024年底发射携带特斯拉Optimus人形机器人的星舰前往火星，预计2027年抵达并在火星表面行走，后续可能尝试送人类前往火星 [1] - Figure公司进行史上最大规模重组，将三个独立团队并入AI团队"Helix"，以加速机器人学习和市场扩展，公司定位为AI公司 [3] AI开发工具 - 阿里云发布首个AI原生开发环境工具通义灵码AI IDE，支持千问3开源模型，代码能力达业界领先水平，支持MCP协议涵盖3000多个服务 [2] - 通义灵码AI IDE提供长期记忆、行间建议预测、行间会话等能力，插件下载量已超1500万，一汽集团、蔚来汽车等上万家企业已接入 [2] 超级计算机 - 美国能源部与戴尔签订合同，由英伟达芯片驱动开发下一代旗舰超级计算机，命名为"道德纳"，预计2026年投入使用 [4] - 新超算将安置在劳伦斯伯克利国家实验室，用于国家能源研究科学计算中心 [4]