多模态生成模型

搜索文档
全球超一半风投涌向AI!启明创投发布2025年AI十大展望
证券时报网· 2025-07-28 15:38
AI投资趋势 - 2025年上半年AI初创企业吸引全球53%风险投资基金 [1] - 启明创投累计投资100余个AI项目 覆盖AI产业全链条 [6] 技术发展前景 - 具身智能机器人将在拣选/搬运/组装场景实现规模化部署 构建"模型-本体-场景数据"闭环飞轮 [1] - 通用视频模型有望在12-24个月内出现 处理视频模态生成/推理与任务理解 [1] - 多模态生成模型处于高速发展期 生数科技提出"参考生视频" 阶跃星辰推出多模态推理模型Step3 [1] - 200万Token上下文窗口将成为顶级AI模型标配 [4] - Token消耗量呈爆发式增长 Google/豆包分别激增48倍/137倍 [4] AI应用场景拓展 - AI正深度嵌入日常生活和情感世界 2025年疗愈和陪伴成为最大应用场景 [5] - 垂直场景AI应用潜力巨大 初创公司以"Go Narrow and Deep"策略形成差异化竞争 [5] - AI BPO模式将在12-24个月实现商业化突破 采用"按结果付费"方式在金融/客服/营销/电商标准化行业扩张 [6] - AI交互范式转移加速 手机屏幕依赖减弱推动AI原生超级应用诞生 [6] Agent发展路径 - Agent形态将从"工具辅助"走向"任务承接" 首批"AI员工"将参与客户服务/销售/运营/研发核心流程 [4] - 多模态Agent将融合视觉/语音/传感器输入 在医疗/金融/法律行业率先突破 [4] 基础设施创新 - AI芯片领域将出现更多"国设国造"GPU批量交付 [6] - 3D DRAM堆叠/通算融合创新的新一代AI云端芯片崭露头角 [6] - Token消耗量有望提高1-2个数量级 集群推理优化/终端推理优化/软硬协同推理优化成为降低成本核心技术 [6]
训练数据爆减至1/1200!清华&生数发布国产视频具身基座模型,高效泛化复杂物理操作达SOTA水平
量子位· 2025-07-25 13:38
技术突破 - 清华大学与生数科技联合研发的Vidar模型首次实现通用视频大模型与物理执行的结合,通过少样本泛化能力完成从虚拟到真实世界的跨越 [3] - 模型仅需20分钟真机数据即可泛化到新机器人本体,数据需求仅为行业领先RDT的1/80、π0.5的1/1200 [4] - 采用"预训练+微调"架构:基于Vidu2.0基座模型,通过75万条双臂机器人数据预训练+20分钟目标机器人微调实现精准控制 [10] 技术架构 - 上游视频预测:通过统一观测空间实现多视角融合,将本体信息/摄像头数据/任务标注打包整合 [10] - 下游动作执行:逆动力学模型(IDM)将视频翻译为机械臂动作,实现视觉-语言与动作模态解耦 [6] - 测试时扩展(Test-Time Scaling)技术提升视频预测可靠性,VBench测试显示主体一致性从0.565提升至0.855 [11][12] 数据创新 - 提出任务无关动作(Task-Agnostic Action)概念,解决传统VLA模型数据过度捆绑问题 [13] - 开发ATARA自动化数据采集系统:10小时无干预采集即可实现全动作空间泛化,准确率超基线51% [15][18] - 掩码逆动力学模型架构可自动捕捉机械臂相关像素,实现跨背景泛化 [22] 性能表现 - 真实世界任务轨迹重放成功率接近100%,较基线提升33-44% [18] - 在16种常见操作任务中展现卓越泛化能力,尤其擅长未见过的任务/背景场景 [25] - 实现双臂协作抓取等复杂操作,预测视频与实际执行高度吻合 [25] 战略意义 - 突破多任务操作与环境适应性瓶颈,为服务机器人落地居家/医院/工厂场景奠定基础 [27] - 全球首个多模态生成模型架构达到SOTA水平的机器人大模型,实现数字-物理世界双向反哺 [28][29] - 延续Vidu技术路线,通过统一基座架构强化时空信息理解与生成能力 [28] 团队背景 - 核心成员来自清华大学TSAIL实验室,含两位博士生冯耀(具身智能方向)和谭恒楷(具身大模型方向) [29][30] - 技术成果发表于ICML/OOPSLA/IJCAI等顶会,获国家奖学金/NOI银牌等荣誉 [29][30] - 指导老师朱军教授提出"通过多模态大模型推动数字与物理世界深度融合"的愿景 [29]
智谱与生数科技达成战略合作
快讯· 2025-04-27 14:10
战略合作 - 智谱与生数科技宣布达成战略合作 [1] - 合作基于双方在大语言模型和多模态生成模型的技术积累和优势 [1] - 合作范围包括联合研发、产品联动、解决方案整合、行业协同等多方面 [1] 产品合作 - 智谱MaaS平台将接入生数科技Vidu API [1]