视觉-语言-动作(VLA)策略
搜索文档
从一台会干活,到组队会配合:星尘智能发布多机协同新范式 CoMind
机器人大讲堂· 2026-11-16 15:23
文章核心观点 - 星尘智能发布业界首个主动共享、精选任务上下文的多机协同模型框架CoMind,开启全新协作范式:协作不是共享一切,而是主动传递影响决策的关键信息 [4][7] - CoMind具备两大核心特点:一是去中心化的主动共享,让队员间实时互通任务上下文,告别等领导派活的被动、中心化调度;二是精选信息,将队员所需、影响决策的信息筛选和压缩后再共享,拒绝一键转发的噪声 [7] - 多机协同的核心难题在于决定下一步动作的那条信息往往只在队友手里,CoMind通过重构信息交互的两个关键维度解决调度慢与沟通浅的两难困境 [14][25][26] 六项真机测试验证 - 组装纸箱:纸箱组装需高频物理接触、较大箱体翻转频繁遮挡视线、动作高度耦合,CoMind让双方实时感知操作状态和任务进度,在视野完全遮挡的极限测试中借眼,让组装和搬运丝滑连续进行直至成功 [15] - 叠被收纳:被子又大又软,提起翻折搬动时形状与边缘持续变化,CoMind精选视觉上下文,让双方在高频接触与动态张力中实时对齐动作意图,自主生成并同步每一步动作,全程无需分步指令,即便在大幅度形变干扰下也能无缝衔接无停顿协作 [17] - 冰箱补货:当关键信息分散在不同视野时,左侧机器人看到冰箱里缺货,右侧看到岛台上有饮料,借助CoMind双方实时借眼补齐全局,开启无缝递送接力,不用重复来回移动,省时省力 [18] - 组装哑铃:穿片一方难以同时看清杆与孔的动态相对位置,CoMind在毫秒级间补全队友视角的空间关系,让机器人实时调整姿态,在持续变动中锁定对准精度,完成严丝合缝的协同装配 [20] - 盲盒置物:装了蓝盘子的盒子位置随机变换,左侧机器人一目了然,右侧机器人完全被遮挡一无所知,在零可见信息情况下CoMind将左侧视野中的关键视觉特征实时共享给右侧,准确率从38.9%提升至88.9% [21] - 隔墙相望:即使互不可见,也能通过CoMind实时共享目标颜色与动作时机,两台机器人交替担任主动与跟随拿笔,任务成功率从0%跃升至100% [23] - 在视野完全遮挡的极限测试中,CoMind让机器人拥有共享视野的超能力,隔墙相互跟随拿笔成功率从0%飙升到100%,遮眼后找到指定盒子放物准确率从盲猜38.9%到88.9%,同时信息传输量减少80% [9] CoMind技术架构与工作机制 - 第一阶段是主动上下文构建:从被动感知转向预见性共享,区别于传统方案对原始视频流的粗暴转发,CoMind引入双重学习目标,第一是不仅关注当下更是对任务的未来预测,引导模型优先提取对未来动作具有关键价值的视觉信息并根据任务相关性进行加权,第二是结合任务进度对应学习,让机器人理解彼此的执行阶段 [29] - 在组装盒子时机器人传递的是我已就位准备插入盒页这一带有进度属性的关键上下文,在盲盒竞猜中精准锁定蓝盘这一核心特征并附带实时进度状态共享,都以极低带宽实现关键信息同步,确保队友能预判动作而非仅仅反应动作 [29] - 第二阶段是双向反哺的协同机制:从单向传输转向联合优化,CoMind设计了对称的上下文编码与动作策略接口,让各机器人互为眼睛和大脑,每台机器人都配备相同的翻译官(上下文编码器)和决策官(动作策略接口),能独立把自己看到的关键信息提炼出来发给队友同时也能接收队友信息 [30] - 接收端会把伙伴共享的上下文、本地视觉观测、任务指令及本体状态融合后输入预训练的视觉—语言—动作(VLA)策略生成连续动作 [30] - 引入动作级反向传播机制,用机器人A动作的结果好坏(监督信号)反向训练机器人B以后该传什么(编码器优化),这种以终为始的训练方式迫使信息提取不再是为了看清更是为了做好,确保每一比特数据都直接服务于最终的协作决策 [30] - 在盲盒竞猜中如果看不见目标的机器人A伸向了错误位置,其动作和正确动作之间的偏差会沿着网络一路回传到机器人B的编码器,告诉B刚才传过来的信息里目标的关键特征不够突出,经过一轮轮训练B学会了优先传递最能帮A做对动作的那部分信息 [30] 行业背景与现有方案局限 - 目前的多机协同方案普遍面临调度慢或沟通浅的两难,传统中心化调度如同经验丰富的现场指挥官擅长规划谁搬箱子谁装被子的宏观任务逻辑清晰管理便捷,但在执行双人抬桌或叠被这类毫秒级动作配合时指挥官反而成了瓶颈,每一次微调都需要上报决策再下达,流畅的协作割裂为僵化的等待指令 [25] - 现有去中心化方案陷入沟通浅的困境,机器人各自为战看似灵活实则信息密度不足,有的机器人仅靠摄像头目视队友一旦被遮挡或背对协作即刻中断,即使能交换数据传递的多是我在移动这类与任务脱节的通用文本缺乏对动作有直接支撑的深层信息,而一台机器人每秒产生海量画面若全盘转发不仅带宽拥堵更会让队友淹没在无用数据中 [25] 星尘智能AI模型与全栈系统 - CoMind背后从基座模型Lumo-1的显式推理到Lumo-2预测世界因动作带来的变化而更好行动,公司始终关注机器人最终不只是为了看懂世界更要在真实世界正确行动 [31] - AI模型-具身OS-绳驱本体的全栈系统不断迭代,持续推动Physical AI的应用与规模化部署 [31] - 2026年7月星尘智能发布第二代基座模型Lumo-2时,让多机器人、人与机器人之间协作完成复杂操作正是模型能力之一 [4] - 公司希望未来在商业、工业到家庭场景出现的不只是一个能干的机器人,也可以是懂得预判彼此意图、主动补位的一个机器人天团 [32] - CoMind未来还计划从共享信息延伸至共享意图,让机器人间不再反应式配合而是预判彼此未来意图主动补位,走向极致默契和效率 [12] 行业企业生态 - 工业机器人企业包括埃斯顿自动化、埃夫特机器人、法奥机器人、越疆机器人、节卡机器人、松灵机器人、珞石机器人、阿童木机器人、极智嘉、海康机器人、翼菲科技、艾利特机器人 [34] - 服务与特种机器人企业包括亿嘉和、晶品特装、七腾机器人、史河机器人、普渡机器人、施罗德机器人、库犸科技MAMMOTION [34] - 人形机器人企业包括优必选科技、宇树、云深处、星动纪元、伟景机器人、逐际动力、乐聚机器人、大象机器人、魔法原子、众擎机器人、帕西尼感知、赛博格机器人、数字华夏、傅利叶智能、天链机器人、开普勒人形机器人、中科慧灵、清宝机器人、浙江人形机器人创新中心、动易科技、智身科技、PNDbotics、卓益得机器人、擎朗智能、伽利略GALILEO、松延动力、天机智能、卧安机器人、理工华汇、加速进化、图睿智能 [35] - 具身智能企业包括跨维智能、银河通用、千寻智能、灵心巧手、睿尔曼智能、微亿智造、推行科技、中科硅纪、枢途科技、灵巧智能、星尘智能、穹彻智能、方舟无限、科大讯飞、北京人形机器人创新中心、国地共建人形机器人创新中心、戴盟机器人、视比特机器人、星海图、月泉仿生、零次方机器人、中科深谷、智平方、大咖机器人、灏存科技、具识智能、Xynova曦诺未来、非夕科技、未来动力、博登智能、千诀科技、灵生科技、集萃智造、欣佰特科技、晨昏线科技、Dexmal原力灵机、优理奇、自变量、睿研智控灵巧手、启物科技、RoboScience机器科学、中科第五纪、临界点、当虹科技、桥介数物、Vbot维他动力、他山科技、具脑磐石、优艾智合机器人、智行腱、阿米奥机器人、鹿明机器人、量子智能、若愚科技、钛虎机器人、智无际、原力无限、黑漫科技、清研精准、时空行者、思灵机器人 [36] - 医疗机器人企业包括元化智能、天智航、思哲睿智能医疗、精锋医疗、佗道医疗、真易达、术锐®机器人、罗森博特、水木东方、康诺思腾、迪视医疗 [37] - 上游产业链企业包括绿的谐波、因时机器人、坤维科技、脉塔智能、青瞳视觉、本末科技、蓝点触控、鑫精诚传感器、BrainCo强脑科技、宇立仪器、极亚精机、思岚科技、神源生、非普导航科技、因克斯、巨蟹智能驱动、凌云光元客视界、璇玑动力、意优科技、瑞源精密、灵足时代、HIT华威科、星汇传感、凌迪科技、泉智博、CubeMars机器人动力、旺龙机器人乘梯、航凯微电、悟通感控 [38]