Workflow
Dexbotic工具箱
icon
搜索文档
单张4090跑到30fps,范浩强团队让VLA实时跑起来了
机器之心· 2025-10-31 15:57
性能突破与优化成果 - 对于30亿参数的Pi0模型,在单张RTX 4090显卡上可实现30fps的实时运行速度 [2] - 通过一系列优化,将模型处理双视角图像的用时从超过100毫秒大幅缩减至27毫秒 [2] - 优化后的代码已开源,实现为仅依赖torch和triton的单一文件,可开箱即用 [3] 技术痛点与解决方案 - 当前机器人VLA大模型存在高延迟问题,即使在高端显卡上推理时间也高达百毫秒级别,阻碍实时控制 [6] - 通过深入分析模型推理过程,对计算步骤进行融合与并行优化,清除了推理瓶颈 [8] - 优化使端到端总反应时间缩短至200毫秒以内,能成功抓取自由下落的笔,反应时间与人类表现相当 [10] 未来架构与性能展望 - 设计出具备三种反应速度的机器人控制框架:超快反应(480Hz)、视觉反应(30Hz)和智能思考(<1Hz) [15] - 该框架有潜力最高实现480Hz的闭环控制频率,为基于力反馈的控制提供了可能 [12] - 展望未来,探讨了视觉处理帧率从30fps提升至120fps、模型参数从3B扩大至更大规模的可能性 [15]