市场概况与政策驱动 - 2025年中国智能体市场规模已达78.4亿元，预计2026年增速将超过70% [1] - 制造、能源、金融、政务四大领域需求占比超70% [1] - 政策层面，《“人工智能 + 制造”专项行动实施意见》明确提出培育1000个高水平工业智能体 [1] 行业核心痛点与挑战 - 传统智能体多依赖单一模态交互，难以应对复杂场景 [2] - 定制开发成本高，限制了中小企业参与 [2] - 部分产品执行链路不完整，无法实现“数据-决策-执行”闭环 [2] 技术突破：多模态交互升级 - 多模态融合已成为头部企业的共同选择，旨在提升智能体对环境的感知与需求理解能力 [4] - 阿里千问采用多模态扩展架构，将图像、音频、GUI界面等不同模态映射至统一语义空间，实现同步处理与融合理解 [5] - 智谱AI旗下CogAgent通过多模态感知实现全GUI空间交互，能以视觉形式感知界面并模拟人类进行点击、输入等操作 [5] - OpenAI旗下智能体Operator具备与图形用户界面交互的能力，可模拟人类在电脑上的操作行为完成任务 [5] - 科大讯飞星辰智能体平台打通语音、视觉、动作、业务流等多模态能力，整合AIUI全链路技术实现1.6秒极速响应 [8] - 星辰平台搭配多麦克风阵列降噪等技术，在-5dB高噪场景中也能保持92%以上的交互成功率 [8] - 阿里千问通过跨应用数据协同，实现文本、支付、物流等多维度信息整合调用 [11] - OpenAI产品强化自然语言理解与工具调用的协同，提升复杂任务执行精度 [11] 技术突破：降低开发门槛 - 星辰智能体平台通过原生MaaS架构，一键连接超50个业界优质开源模型，提供一句话精调、零代码可视化精调等多种定制方式 [12] - 平台深度集成原生RPA功能与AI原子能力，接入行业通用MCP工具，让智能体具备执行与链接能力 [12] - 阿里千问通过简化应用接入流程，让企业无需复杂适配即可实现智能体与现有业务对接 [13] - 智谱AI的Auto框架聚焦终端设备的快速赋能，降低移动场景部署成本 [13] - 星辰智能体推出的Astron开源项目基于Apache2.0协议，支持核心能力二次开发，在GitHub已获得13k+ Star [13] 生态构建与场景落地 - 星辰智能体平台在海外市场聚焦中东、东南亚区域，覆盖公共服务、基建招投标等八大场景，通过本地化部署提供适配服务 [15] - 其海外应用覆盖从数千页基建标书的自动分析，到多语言实时出行引导，再到复杂合同合规风险透视等场景 [15] - 阿里千问重点发力消费服务场景，实现外卖、购物、出行等高频需求的智能协同 [18] - 商汤医疗聚焦医疗领域，其肝脏智慧诊疗智能体实现分钟级三维重建，已在多家头部医疗机构落地 [18] - 星辰智能体依托讯飞开放平台资源积累，该平台聚集超过1026.5万开发者团队，累计覆盖终端设备42.8亿台 [18] - 平台在国内聚焦开发者赋能，在海外设立区域总部与本地化团队，构建全球化生态网络 [18] - OpenAI通过API开放策略，让第三方开发者能基于其核心能力构建垂直场景智能体 [18] - 阿里借助自身生态优势，实现智能体与电商、支付、物流等业务的深度融合 [19] - 智谱AI通过“工具赋能 + 创业辅导”模式，加速培育AI原生企业，丰富产业生态 [19] 行业发展趋势 - 智能体产业正处于从技术探索向规模化落地转型的关键阶段 [21] - 未来智能体的发展将更注重场景适配的精准性、开发的便捷性与生态的开放性 [21] - 企业与开发者的协同创新将成为产业进步的重要动力 [21]

文章核心观点 - 基于大型视觉语言模型（VLM）的视觉-语言-动作（VLA）模型是机器人操控领域的变革性范式，通过语义理解和推理能力显著提升机器人在非结构化环境中的泛化执行能力 [1][4][5] - 哈尔滨工业大学（深圳）团队首次提出系统性分类法，将VLA模型划分为单体模型（Monolithic Models）和层级模型（Hierarchical Models），以解决架构多样性和研究碎片化问题 [1][6][8] - VLA模型与强化学习、免训练优化、人类视频学习和世界模型等前沿技术结合，未来方向包括记忆机制、4D感知和多智能体协作等 [1][58][91] 背景与演进 - 传统机器人操控方法依赖预定义任务规范，在非结构化环境中泛化能力有限，而VLM通过海量图文预训练跨越视觉与语言的语义鸿沟 [4][9][11] - 现代VLM（如LLaVA1.5、Qwen-VL）采用三组件架构：视觉编码器、投影器和大型语言模型，统一处理多模态任务并支持高级推理能力 [9][10] - VLA模型将机器人动作处理为文本token，与语言输出联合训练，实现语义理解能力飞跃（如RT-2相比RT-1在未见过指令任务上成功率显著提升） [12][13] 单体模型（Monolithic Models） - 单系统架构（如RT系列、OpenVLA）统一处理视觉、语言和动作生成，通过自回归解码生成动作token，参数量达70亿级别 [14][17][18] - 双系统架构（如π0、CogACT）分离快速反应的动作专家与慢速推理的VLM骨干，通过级联或并行方式协作，推理速度提升3倍以上 [15][35][30] - 性能增强方向包括3D/4D感知（如SpatialVLA、TraceVLA）、多模态融合（触觉、音频）和推理优化（动态token剪枝、1-bit量化） [21][23][31] 层级模型（Hierarchical Models） - 规划器+策略架构明确解耦高层规划与底层执行，生成可解释中间输出（如关键点、程序代码），支持长时程任务 [43][44][53] - 仅规划器方法（如Chain-of-Modality）生成可执行程序或文本指令，而规划器+策略模型（如HiRobot）通过扩散策略执行原子命令 [44][49][53] - 基于关键点的方法（如HAMSTER、RoboPoint）预测交互区域或轨迹路点，结合优化器生成动作，在7个泛化轴向上成功率提升20% [45][51][80] 前沿领域结合 - 强化学习通过密集奖励信号（如VLA-RL的RPRM模型）和离线-在线混合训练（如ReWiND）解决长时任务稀疏奖励问题 [59][60][61] - 免训练方法（如FlashVLA、EfficientVLA）通过触发机制和token复用跳过冗余计算，实现最高5倍训练加速 [62][63][64] - 人类视频学习（如UniVLA、LAPA）对齐人类-机器人交互特征，世界模型集成（如WorldVLA）通过预测未来状态优化动作规划 [65][66][68] 模型特性 - 多模态融合通过共享嵌入空间实现视觉、语言和动作的token级对齐，支持深度、触觉等模态扩展（如PointVLA集成点云数据） [69][71][73] - 指令遵循能力支持语义锚定（如ChatVLA-2理解白板数学问题）和思维链推理（如CoT-VLA预测视觉子目标） [74][76][75] - 跨领域泛化能力显著，如DexVLA实现跨机器人形态技能迁移，π0.5在分布外数据上成功率超90% [78][79][80] 数据集与基准 - 真实世界数据集（如OXE）整合22个机器人平台超100万演示，覆盖500多种技能，但长尾分布数据仍不足 [82][83][84] - 仿真基准（如BEHAVIOR、ALFRED）支持多阶段语言指令任务，CALVIN提供无约束指令下的长时程行为学习 [85][86] - 人类行为数据集（如Ego4D、EPIC-Kitchens）提供829小时密集手部追踪视频，支持精细化操作学习 [87][88] 未来方向 - 需开发融合真实世界复杂性和长期任务评估的基准，包含子任务成功率和抗干扰性等指标 [91] - 技术突破重点包括4D感知（整合深度与时间演化）、移动操作（导航与抓取协同）和多智能体协作（共享世界模型） [93][94][96] - 模型效率优化需平衡计算资源与实时需求，通过动态token剪枝和硬件友好量化降低延迟 [98]

公司技术进展 - 智谱于11月29日发布AutoGLM升级版 可自主执行超过50步的长步骤操作并支持跨App执行任务 [2] - AutoGLM具备四大能力 包括理解超长指令执行超长任务 支持跨App执行 支持长任务自定义短语 以及主动决策的随便模式 [2] - AutoGLM启动大规模内测 将尽快上线成为面向C端用户的产品 并启动10个亿级App免费Auto升级计划邀请App伙伴探索新场景 [2] - 智谱推出基于PC的自主Agent GLM-PC 基于多模态模型CogAgent实现会议替身预定和参与会议发送总结 以及文档处理下载发送理解总结等功能 [2] - GLM-PC支持网页搜索与总结 可在指定平台搜索关键词完成阅读总结 并支持远程定时操作及隐形屏幕功能在用户工作时自主完成工作 [3] 技术发展路径与愿景 - 智谱定义大模型发展五阶段 L1语言能力 L2逻辑与多模态能力 L3使用工具能力 L4自我学习能力 L5探究科学规律 [3] - Agent技术将极大提升L3使用工具能力 同时开启对L4自我学习能力的探索 智谱CEO张鹏表示团队将继续加速Agent模型产品研发 [3] - Agent是目标驱动型 能够完全执行工作流程 适应学习迭代 与其他系统和人类协作 并端到端完成任务 可视为大模型通用操作系统LLM-OS的雏形 [3] - AutoGLM在人与应用间添加执行调度层 改变人机交互形式 并展现LLM-OS可能性 基于大模型智能能力未来有望实现原生人机交互新范式 [5] 研发历程 - 智谱从23年4月AgentBench开始 到8月CogAgent模型 针对AutoGLM和GLM-PC的模型研发工作已进行一年半时间 [3]