Workflow
RoboTidy
icon
搜索文档
RoboTidy即将开源:让机器人在家庭场景“游刃有余”
具身智能之心· 2025-11-29 10:07
文章核心观点 - 香港大学与原力无限等联合团队发布了业内首个基于3D Gaussian Splatting技术的家庭整理基准RoboTidy,该基准构建了500个照片级逼真的交互式3D环境并提供了超过8000条专家演示轨迹,其核心突破在于通过高保真仿真环境显著提升了真实机器人长序列任务的成功率,将真实机器人的任务成功率提升了近30% [4][17] - 研究标志着具身智能研究范式的转变,重点从算法能力转向环境真实性,并通过学术界与产业界的深度协同(“研-产”闭环)来加速通用人形机器人的产业化落地 [5][24] 技术突破:3D Gaussian Splatting的应用 - 传统仿真器(如Habitat, AI2-THOR)基于3D网格建模,虽速度快但画质失真,导致训练出的机器人在真实复杂环境中“水土不服” [7] - RoboTidy引入3D Gaussian Splatting技术,能以超过100 FPS的渲染速度重建照片级真实场景,克服了NeRF计算成本高和Mesh几何生硬的问题 [8][9] - 团队通过手持设备扫描500个真实家庭场景(卧室、客厅、餐厅等),并利用3DGS管道将其“克隆”进仿真器,使机器人能感知真实的光照变化、材质质感(如地毯绒毛、不锈钢反光) [11][12] 数据集与算法框架 - RoboTidy提供了500个高多样性家庭布局场景资产和8000多条专家示范轨迹,这些轨迹不仅记录坐标移动,更包含了人类整理房间的隐性逻辑(如语义理解和常识推理) [15] - 基于此数据集,团队提出了分层控制框架,包含“语义规划器”和“底层策略”,使机器人能像人类一样执行“识别物体-规划归属地-执行整理”的长序列规划任务 [14][15] 仿真到现实的工程化验证 - 原力无限团队重点攻克了Sim-to-Real Gap(虚实迁移鸿沟),通过高保真环境预训练结合自研控制算法,在真实机器人测试中显著提升了对未见物体和复杂背景的鲁棒性 [17] - 实验结果显示,RoboTidy模型在真实环境中的任务成功率相比传统方法提升29.4%,证明高质量仿真数据可直接转化为真实世界的生产力 [17][18] 行业标准化与开源贡献 - RoboTidy建立了统一的标准化评测系统和Leaderboard,解决了以往家庭整理任务缺乏可比性基准的问题(如各实验室测试场景不同导致成功率无法横向对比) [20] - 通过开源这套基准(包括统一API接口和多维度Metric),为全球开发者提供了更真实、严苛、标准的研发起跑线,推动家庭服务机器人技术进化 [20][22][27]
3DGS杀入具身!港大×原力无限RoboTidy即将开源:让机器人在家庭场景“游刃有余”
具身智能之心· 2025-11-27 08:04
文章核心观点 - 由香港大学与原力无限等联合团队发布的RoboTidy基准,通过引入3D Gaussian Splatting技术构建了500个照片级逼真的交互式3D家庭环境,并提供了超过8000条专家演示轨迹,显著提升了机器人在长序列家庭整理任务中的表现,并将真实机器人的任务成功率提升了近30%,标志着具身智能研究在仿真环境真实性与产业落地方面取得了重要突破 [3][4][5][17][23] 技术突破:3DGS构建高保真仿真环境 - 传统仿真器基于3D网格建模,画质失真、缺乏真实光影纹理,导致训练出的算法在真实复杂环境中“水土不服” [7] - RoboTidy引入3D Gaussian Splatting技术,能以超过100 FPS的渲染速度重建照片级真实场景 [8] - 团队扫描了500个真实家庭场景并通过3DGS“克隆”进仿真器,使机器人能感知真实的光照变化、材质质感和反光等细节 [10] - 这种“所见即所得”的视觉保真度为训练高鲁棒性的视觉编码器提供了基础 [11] 任务与数据集:定义家庭整理的长序列规划挑战 - 家庭整理对机器人是顶级的长序列规划挑战,需要结合视觉识别、语义理解和常识推理能力 [13] - RoboTidy提供了包含8000多条专家示范轨迹的高质量数据集,记录了从物体识别、抓取到放置的完整链条,蕴含了人类整理房间的隐性逻辑 [14] - 基于此数据集,团队提出了包含“语义规划器”和“底层策略”的分层控制框架,使机器人能模仿人类“看到杂乱-规划归属地-执行整理”的思考过程 [14] - 基准覆盖了500个具有高多样性的家庭布局场景资产 [14] 产业落地:Sim-to-Real的工程化验证 - 原力无限团队重点攻克了“虚实迁移鸿沟”这一行业痛点 [16] - 在真实机器人测试中,经过RoboTidy高保真环境预训练并结合原力无限自研控制算法的策略,展现出极强的鲁棒性,特别是在处理未见过的物体和复杂背景时表现优于基线方法 [16] - 实验数据显示,该方案使真实机器人的长序列任务成功率相比传统方法提升了29.4% [4][16] - 这证明了高质量的仿真数据可以直接转化为真实世界的生产力 [17] 行业影响:建立标准化基准并开源 - RoboTidy建立了业内首个基于3DGS技术的家庭整理基准,填补了该领域缺乏统一评测标准的空白 [4][19] - 通过开源这套高质量的基准、标准化评测系统和Leaderboard,为全球开发者提供了更真实、严苛、标准的研发起跑线 [19][21] - 基准提供了统一的API接口,方便开发者接入自己的算法 [26] - 评测采用多维度Metric,不仅评估物体是否归位,还评估放置的合理性、美观度及执行效率 [26]