文章核心观点 - 由香港大学与原力无限等联合团队发布的RoboTidy基准,通过引入3D Gaussian Splatting技术构建了500个照片级逼真的交互式3D家庭环境,并提供了超过8000条专家演示轨迹,显著提升了机器人在长序列家庭整理任务中的表现,并将真实机器人的任务成功率提升了近30%,标志着具身智能研究在仿真环境真实性与产业落地方面取得了重要突破 [3][4][5][17][23] 技术突破:3DGS构建高保真仿真环境 - 传统仿真器基于3D网格建模,画质失真、缺乏真实光影纹理,导致训练出的算法在真实复杂环境中“水土不服” [7] - RoboTidy引入3D Gaussian Splatting技术,能以超过100 FPS的渲染速度重建照片级真实场景 [8] - 团队扫描了500个真实家庭场景并通过3DGS“克隆”进仿真器,使机器人能感知真实的光照变化、材质质感和反光等细节 [10] - 这种“所见即所得”的视觉保真度为训练高鲁棒性的视觉编码器提供了基础 [11] 任务与数据集:定义家庭整理的长序列规划挑战 - 家庭整理对机器人是顶级的长序列规划挑战,需要结合视觉识别、语义理解和常识推理能力 [13] - RoboTidy提供了包含8000多条专家示范轨迹的高质量数据集,记录了从物体识别、抓取到放置的完整链条,蕴含了人类整理房间的隐性逻辑 [14] - 基于此数据集,团队提出了包含“语义规划器”和“底层策略”的分层控制框架,使机器人能模仿人类“看到杂乱-规划归属地-执行整理”的思考过程 [14] - 基准覆盖了500个具有高多样性的家庭布局场景资产 [14] 产业落地:Sim-to-Real的工程化验证 - 原力无限团队重点攻克了“虚实迁移鸿沟”这一行业痛点 [16] - 在真实机器人测试中,经过RoboTidy高保真环境预训练并结合原力无限自研控制算法的策略,展现出极强的鲁棒性,特别是在处理未见过的物体和复杂背景时表现优于基线方法 [16] - 实验数据显示,该方案使真实机器人的长序列任务成功率相比传统方法提升了29.4% [4][16] - 这证明了高质量的仿真数据可以直接转化为真实世界的生产力 [17] 行业影响:建立标准化基准并开源 - RoboTidy建立了业内首个基于3DGS技术的家庭整理基准,填补了该领域缺乏统一评测标准的空白 [4][19] - 通过开源这套高质量的基准、标准化评测系统和Leaderboard,为全球开发者提供了更真实、严苛、标准的研发起跑线 [19][21] - 基准提供了统一的API接口,方便开发者接入自己的算法 [26] - 评测采用多维度Metric,不仅评估物体是否归位,还评估放置的合理性、美观度及执行效率 [26]
3DGS杀入具身!港大×原力无限RoboTidy即将开源:让机器人在家庭场景“游刃有余”
具身智能之心·2025-11-27 08:04