小红书开源文本大模型dots.llm1 - 小红书首次开源文本大模型dots.llm1 由人文智能实验室团队开发 采用Mixture of Experts架构 总参数量1420亿 激活参数140亿 [1] - 模型训练数据量达11.2T token 性能可与Qwen2.5-72B相媲美 [1] 阿里开源MaskSearch预训练框架 - 阿里巴巴通义实验室发布MaskSearch预训练框架 实现"主动搜索+多步推理"能力 [2] - 该框架旨在提升AI回答复杂问题的准确性和智能性 [2] 全球首个AI芯片设计系统 - 全球首个AI芯片全自动设计系统"启蒙"发布 实现从硬件到软件的全流程自动化设计 [3] - 系统设计指标达到人类专家手工设计水平 研究成果发布于arXiv预印本网站 [3] 谷歌Veo3视频生成工具升级 - 谷歌推出Veo3 FAST/TURBO模式 成本降低80% 从150积分/视频降至20积分/视频 [4] - Ultra计划用户每月可生成625段8秒视频 标准模式仅支持125段 [4] - 新模式支持带声音的视频输出 生成速度更快 [4]

阿里通义实验室新研究框架MaskSearch - 公司推出全新通用预训练框架MaskSearch，旨在提升大模型"推理+搜索"能力，在开放域问答任务上较基线方法取得显著性能提升 [1][2] - 框架创新性地引入检索增强型掩码预测任务(RAMP)，使模型在预训练阶段即学习通用任务分解、推理策略及搜索引擎使用方法 [5][11] - 兼容监督微调(SFT)和强化学习(RL)两种训练方法，其中RL在HotpotQA等领域内任务中展现出更高性能上限 [6][19][20] 核心技术架构 - 预训练阶段对命名实体、日期、数值等关键信息进行掩码处理，模型需调用外部知识库预测被遮蔽内容，提升多领域适应能力 [11][13] - 监督微调采用Agent合成与蒸馏方法生成思维链数据：多智能体协同生成推理链，LLM筛选正确答案；教师模型迭代提升数据质量 [12][14] - 强化学习采用动态采样策略优化(DAPO)算法，构建混合奖励系统评估输出格式与答案一致性，Qwen2.5-72B作为评判模型 [15] 实验性能表现 - 基于Qwen和LLaMA模型的实验显示，两阶段训练显著提升搜索推理能力：小模型(1B)性能提升显著，7B大模型召回率持续增长 [18][22] - 课程学习策略验证有效：按掩码数量分层训练时，Qwen2.5-7B在验证集得分明显高于混合训练，下游任务表现同步提升 [16][24][26] - 基于困惑度的难度导向掩码策略在特定数据集提升召回率，但需与模型当前能力匹配；基于模型的奖励函数综合表现最优 [27][30][33] 行业技术突破 - 突破传统任务特定训练局限，通过通用预训练框架实现跨领域检索推理能力，小模型可媲美大模型表现 [3][4][18] - 首次将检索行为融入预训练目标，使模型自主掌握多步搜索与推理流程，为LLM智能体开发提供新范式 [5][20][33] - 实验证明RAMP作为可扩展学习信号的有效性，尤其在Bamboogle等领域外数据集性能提升显著 [18][22]