BridgeVLA

搜索文档
重磅直播!RoboTwin2.0:强域随机化双臂操作数据生成器与评测基准集
具身智能之心· 2025-07-15 21:49
双臂机器人训练瓶颈 - 真实示教数据规模化获取成本高耗时长 难以覆盖足够多任务物体形态与硬件差异 [2] - 现有仿真缺乏针对新任务的高效可扩展专家数据生成方法 [2] - 域随机化设计过于表层 无法模拟真实环境中的复杂性 [2] - 未考虑不同双臂平台在运动学与抓取策略上的行为差异 导致数据合成方案难以在新环境或新硬件上泛化 [2] 技术资源与竞赛 - RoboTwin平台提供代码库论文及使用文档 涉及双臂机器人仿真与训练 [3] - CVPR RoboTwin竞赛技术报告展示真实场景机器人导航与运动控制方案 [3][4] - BridgeVLA方案实现真机性能提升32% [4] 行业技术进展 - VR-Robo技术通过real2sim2real框架助力真实场景机器人导航与运动控制 [4] - UniVLA方案高效利用多源异构数据构建通用可扩展机器人动作空间 [5] - 行业关注遥操技术流畅度对机器人操作性能的影响 [5] 深度内容获取 - 具身智能之心知识星球提供完整技术细节QA及未公开彩蛋 涵盖双臂机器人训练仿真等专题 [1][4]
AI Day直播 | 冠军方案BridgeVLA(CVPR'25)
自动驾驶之心· 2025-06-30 20:33
根据提供的文档内容,未发现可总结的行业或公司研究相关核心观点及具体数据,文档仅包含直播和内容获取的转引导向信息 [1]
中科院&字节提出BridgeVLA!斩获CVPR 2025 workshop冠军~
自动驾驶之心· 2025-06-28 21:34
3D VLA操作新范式 - BridgeVLA通过将预训练和微调的输入输出对齐到统一的2D空间,实现了VLM与VLA的桥接,仅需输入图片和文字指令即可完成操作 [4][5] - 模型输出从Next token prediction变更为Heatmap prediction,利用3D空间结构先验并将输入输出在2D空间中对齐 [5] - 在RLBench基准测试中平均成功率从81.4%提升至88.2%,在18个任务中的10个取得最佳表现,高精度对齐任务表现突出 [14] 预训练与微调方法 - 预训练阶段采用新颖的可扩展方法,通过图片-目标文本对输入,输出重新排列的图像token并还原为Heatmap,交叉熵损失监督训练 [8] - 微调阶段将点云从正面、上面、右侧正交投影为3张2D图像输入模型,输出Heatmap反投影估计3D空间网格点分数,得分最高点作为平移目标 [11][12] - 采用由粗到细的多级预测方式,首次Heatmap预测后对目标位置附近点云放大裁剪进行二次前向传播,获得更精细位置预测 [12] 基准测试表现 - COLOSSEUM基准测试中平均成功率从56.7%提升至64.0%,在14种评估扰动中的13种表现最佳 [15] - GemBench基准测试中在L1-L4四个层次取得最高平均成功率50.0%,L2和L3设置中达到最先进水平 [17] - 真实机器人实验中在13个基本任务和6种泛化性能测试中,七种设置中的六种优于基线方法RVT-2,视觉干扰设置中表现显著鲁棒 [19] 未来发展方向 - 从Next Token Prediction到Heatmap Prediction的技术范式转变,提供更高数据效率和更好操作效果 [21] - 未来研究可尝试在语义分割和关键点检测等更多样化任务上进行预训练,增强通用视觉理解能力 [21] - 计划整合扩散模型等更具表达能力的动作解码方法,并探索利用LLM进行任务分解以改善长周期任务表现 [21]
3D VLA新范式!中科院&字节Seed提出BridgeVLA,斩获CVPR 2025 workshop冠军!
机器之心· 2025-06-24 09:46
3D VLA操作新范式BridgeVLA - 核心观点:BridgeVLA通过将输入输出对齐到2D空间的全新范式,实现了3D视觉语言操作模型在数据效率和操作效果上的同步突破,在多项基准测试中刷新记录[1][4][6] - 技术原理:采用2D Heatmap预测替代传统Next Token Prediction,通过正交投影将3D点云转化为2D图像输入,实现VLM与VLA的输入输出对齐[6][7][11] - 预训练方法:创新性地通过图片-目标文本对预训练,使用可学习凸上采样方法生成与输入同尺寸的Heatmap,赋予模型目标检测能力[8][10] - 动作预测机制:采用由粗到细的多级预测方式,首次Heatmap定位后对目标区域点云放大裁剪进行二次精细预测[12] 性能表现 - RLBench基准:在18个复杂任务中平均成功率从81.4%提升至88.2%,在10个任务中表现最佳,高精度插入任务(如Insert Peg)成功率高达88%[14] - COLOSSEUM基准:在12种扰动测试下平均成功率从56.7%提升至64.0%,14种评估扰动中13种表现最优,光照变化场景成功率提升至69.7%[15] - GemBench基准:在L1-L4四级挑战中平均成功率50%领先,L2刚性物体操作达到65%成功率,但L4长周期任务仍有局限[16][17] - 真实机器人测试:13个基础任务中6种泛化测试表现优异,干扰物和背景变换场景保持超高成功率[19][20] 技术优势与未来方向 - 效率突破:仅需3条操作轨迹即可达到96.8%成功率,显著优于传统3D操作策略需要的≈10条轨迹[2][4] - 泛化能力:在视觉干扰、任务组合等复杂场景展现强大适应性[1][20] - 未来优化:计划扩展语义分割等预训练任务,整合扩散模型提升动作解码能力,结合LLM改善长周期任务表现[22]