实时运行VLA模型
搜索文档
单张4090跑到30fps,范浩强团队让VLA实时跑起来了
具身智能之心· 2025-11-02 00:03
编辑丨 机器之心 点击下方 卡片 ,关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 具体而言,对于常用的 Pi0 级别的模型(30 亿参数),在单张消费级显卡 RTX 4090 上最快可以跑到 30fps。这和大家对于 VLA 模型动辄要几十甚至上百毫秒的 刻板印象形成鲜明对比。 为实现这点,研究者深入分析 Pi0 的模型结构,通过一系列优化把用时从开始的 100+ ms 进行数倍缩减(针对双视角,甚至已经达到 27ms),显著强于 openpi 里采用的基于 jax 的自动优化的结果。 此外,研究者基于现有结果探讨了未来的"实时"运行的 VLA 结构,设计出一个有潜力最高实现 480Hz 闭环控制的算法框架。目前,优化后的代码已在 GitHub 开 源,全部实现均打包为一个只依赖于 torch 和 triton 的单一文件,大家可在自己的项目里 "开箱即用"。这是 Dexmal 原力灵机 继 开源一站式 VLA 工具箱 Dexbotic 之后的又一开源代码工作。 解决什么痛点? 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有 ...