Workflow
蒸馏
icon
搜索文档
蒸馏、GEO、氛围编程 2025年度“AI十大黑话” 能听懂几个?
36氪· 2025-12-26 17:16
文章核心观点 文章总结了《麻省理工科技评论》评出的2025年度十大AI热词,这些概念正在重塑AI行业格局,反映了技术发展、应用模式、资本动态及社会影响等多个维度的最新趋势 [1] 氛围编程 - 编程方式被重新定义,开发者只需用自然语言向AI表达应用目标、功能需求和整体体验,AI则负责自动生成和迭代代码 [2] - 这种方式由OpenAI联合创始人安德烈·卡帕西提出,被称为“氛围编程”,它代表了一种人机协作的新范式 [2] 推理模型 - “推理”成为AI讨论核心,对应推理模型的崛起,这类大语言模型通过多步拆解与连续推演处理复杂问题 [3] - 自OpenAI发布o1和o3系列后,DeepSeek迅速跟进,主流聊天机器人均已引入推理技术,在数学和编程竞赛中达到顶尖人类专家水平 [3] 世界模型 - AI研究转向构建“世界模型”,旨在让AI理解现实世界的因果关系、物理规律与时间演化,而不仅仅是生成流畅文字 [4] - 谷歌DeepMind的Genie 3、李飞飞团队的Marble以及杨立昆的新研究,都通过预测视频演化或构建虚拟环境来让AI掌握世界运转规律 [4] 超大规模数据中心 - 为满足激增的AI算力需求,科技巨头正以前所未有的规模建设专用“超级数据中心” [5] - 例如,OpenAI与美国政府合作的“星门”项目计划投入5000亿美元,建设全美史上最大规模的数据中心网络 [5] 资本与泡沫 - AI成为资本最拥挤的赛道之一,以OpenAI、Anthropic为代表的公司估值持续攀升,但多数仍处于高投入、尚未稳定盈利的阶段 [6] - 与互联网泡沫时期相比,如今顶尖AI公司收入增长迅猛,且背后有微软、谷歌等资金雄厚的科技巨头提供稳定支撑 [6] 智能体 - “智能体”是AI圈内热门但定义模糊的概念,各家宣传AI能像“智能助手”一样自主完成任务,但行业缺乏统一标准 [7] - 尽管AI尚难在复杂多变环境中稳定可靠工作,“智能体”已成为产品宣传中最热门的标签之一 [7] 蒸馏技术 - DeepSeek发布的R1模型展示了“蒸馏”技术的巧妙,让小模型学习大模型的精髓,以极低成本实现接近顶级模型的性能 [8] - 这表明打造强大AI模型未必只能依赖堆砌算力,高效的算法设计同样能带来新的可能 [8] AI垃圾 - “AI垃圾”特指为博流量而批量产生的劣质AI内容,该词已演变为一种后缀,被用来形容各种缺乏实质的事物,如“工作垃圾”、“社交垃圾” [9] - 这折射出人们对AI时代内容质量与真实性的普遍反思 [9] 物理智能 - AI在现实世界中的行动能力仍是短板,虽然机器人在特定任务上学习更快,自动驾驶模拟更逼真,但不少“智能家庭助手”产品仍需人工远程操控 [10] - 为提升能力,已有机器人公司开始向普通人征集做家务视频,表明让AI真正理解并适应物理世界仍前路漫长 [10] 生成引擎优化 - 传统搜索引擎优化正在让位于“生成引擎优化”,随着AI直接给出答案,信息获取方式发生改变 [11] - 新规则下,内容提供者需要确保其品牌、观点或内容被AI在生成的答案中引用,否则可能从用户视野中消失 [11]
2025,AI圈都在聊什么?年度十大AI热词公布
36氪· 2025-12-26 15:33
文章核心观点 文章总结了《麻省理工科技评论》评出的2025年度十大AI热词,这些概念正在重塑AI行业格局,反映了技术发展、应用模式、资本动态及社会影响等方面的关键趋势 [1] 氛围编程 - 编程方式被重新定义,开发者只需用自然语言向AI表达应用目标、功能需求和整体体验感觉,AI则负责自动生成代码、调整细节并通过反复对话迭代 [2] - 这种方式由OpenAI联合创始人安德烈·卡帕西提出,被称为“氛围编程”,它并非一种新编程语言,而是一种新的人机协作方式 [2] 推理模型 - “推理”成为AI讨论核心词汇,对应的是推理模型的崛起,这类大语言模型通过多步拆解与连续推演处理更复杂问题 [3] - 自OpenAI发布o1和o3系列后,DeepSeek迅速跟进,主流聊天机器人均已引入推理技术,在数学和编程竞赛中达到顶尖人类专家水平 [3] 世界模型 - AI研究正转向构建“世界模型”,旨在让AI理解现实世界的因果关系、物理规律与时间演化,而不仅仅是学习语言,从而判断合理性并预测未来 [4] - 谷歌DeepMind的Genie 3、李飞飞团队的Marble以及杨立昆离开Meta后的新研究,都通过预测视频演化或构建虚拟环境,让AI在模拟中掌握世界规律 [4] 超大规模数据中心 - 为满足激增的AI算力需求,科技巨头正以前所未有的规模建设专用“超级数据中心” [5] - 例如,OpenAI与美国政府合作的“星门”项目计划投入5000亿美元,在全美建设史上最大规模的数据中心网络 [5] 资本与泡沫 - AI成为资本最拥挤的赛道之一,以OpenAI、Anthropic为代表的公司估值持续攀升,但多数仍处于高投入、尚未建立稳定盈利模式的阶段 [6] - 与当年的互联网泡沫相比,如今顶尖AI公司收入增长迅猛,且背后有微软、谷歌等资金雄厚的科技巨头提供稳定支撑 [6] 智能体 - “智能体”是AI圈内热门但定义尚不统一的概念,各家宣传AI能像“智能助手”一样自主完成任务,但行业对真正智能体行为缺乏统一标准 [7] - 尽管AI难以在复杂多变环境中稳定可靠工作,“智能体”已成为产品宣传中最热门的标签之一 [7] 模型蒸馏技术 - DeepSeek在2025年年初发布的R1模型展示了“蒸馏”技术的巧妙之处,该技术让小模型学习大模型的精髓,以极低成本实现接近顶级模型的性能 [8] - 这表明打造强大AI模型未必只能依赖堆砌昂贵算力,高效的算法设计同样能带来新的可能 [8] AI垃圾 - “AI垃圾”特指为博流量而批量产生的劣质AI内容,该词汇已演变为一种后缀,被用来形容各种缺乏实质、空洞乏味的事物,如“工作垃圾”、“社交垃圾” [9] - 这折射出人们对AI时代内容质量与真实性的普遍反思 [9] 物理智能 - AI在现实世界中的行动能力仍是很大短板,虽然机器人在特定任务上学习更快,自动驾驶模拟更逼真,但不少“智能家庭助手”产品仍需人工远程操控 [10] - 为提升此能力,已有机器人公司开始向普通人征集做家务视频,表明让AI真正理解并适应物理世界仍前路漫长 [10] 生成引擎优化 - 传统搜索引擎优化正在让位于“生成引擎优化”,随着AI直接给出答案,信息获取方式发生改变 [11] - 新的竞争规则是:当用户直接问AI问题时,AI答案中是否会提及特定品牌、观点或引用其内容,内容提供者必须学会被AI引用和吸收,否则可能从视野中消失 [11]
6666!NuerIPS满分论文来了
量子位· 2025-11-11 19:11
文章核心观点 - 一篇来自清华大学和上海交通大学的研究论文在NeurIPS 2025上获得四位审稿人一致给出的满分6分,成为该会议唯一的满分论文[1] - 论文的核心结论挑战了行业普遍认知,指出真正决定大语言模型推理能力上限的是基座模型本身,而非强化学习训练方法[1] - 研究结果表明,知识蒸馏方法比强化学习更有潜力实现大模型能力的自我进化,这对当前主流的RLVR技术路线提出了重要质疑[1][12] 研究方法与实验设计 - 研究团队采用pass@k作为关键评估指标,该指标通过多轮采样揭示模型的真实推理边界,能更精准判断模型是否"有能力"解决问题[14][15] - 实验覆盖大语言模型推理能力的三大典型应用领域:数学推理、代码生成和视觉推理,并搭配GSM8K、MATH500、LiveCodeBench、MathVista等权威基准数据集[17] - 模型选择以主流大语言模型家族为基础,包括Qwen2.5系列和LLaMA-3.1等,构建了"基础模型vs RLVR训练模型"的多组平行对照[18] - 针对每个测试样本,让基础模型和RLVR模型进行不同次数的采样,k值从1逐步提升至1024,记录每次采样中"至少出现一个正确结果"的概率[20] 关键研究发现 - RLVR主要是在"强化"底模已有的推理路径,而不是"发现"底模没有的新路径[10] - RL训练后的模型在低采样次数下表现更好,但随着采样次数增加,底模反而能超过RL模型,说明底模隐藏的推理能力被低估了[10] - 多种RL算法在提升采样效率方面差异不大,且与"理论上底模最大能力"相比仍有明显差距[10] - 蒸馏方法更有可能"扩展"模型的推理能力范围,因为其接收来自教师模型的新推理模式,而RLVR更受限于底模[10] 研究团队背景 - 研究团队由8位研究人员组成,其中7位来自清华大学LeapLab,1位来自上海交通大学[24] - 项目负责人Yang Yue是清华大学自动化系四年级博士生,研究方向为强化学习、世界模型和多模态大模型[25] - 通讯作者Gao Huang是清华大学自动化系副教授、博士生导师,LeapLab负责人,以提出经典卷积架构模型DenseNet而闻名[31][32]
DeepSeek 刷新全球 AI 格局;50 美元模型蒸馏术;美国公司们宣布 8000 亿美元算力投资丨AI 月报
晚点LatePost· 2025-02-10 17:50
格局变化 - DeepSeek推出R1模型,性能比肩OpenAI o1但API价格仅为1/30,迅速改变全球大模型竞争格局 [4][6] - R1发布后DeepSeek应用登顶美区App Store,两周下载量达ChatGPT同期两倍,中国DAU突破3000万 [8][12] - 英伟达股价因市场担忧GPU需求受冲击一度暴跌,但10天后反弹至3万亿美元市值 [7] 技术突破 - "蒸馏"技术成为焦点:伯克利团队用450美元、李飞飞团队用50美元即开发出接近o1性能的垂直领域模型 [15][16] - DeepSeek论文显示通过生成80万数据精调开源模型,可显著提升推理能力 [14] - 中国公司密集发布新模型,Chatbot Arena前20名中中国模型占比达5个,较上月增加2个 [17][18][22] 企业动态 - OpenAI年化收入超60亿美元,ChatGPT付费用户达1550万,企业API收入年化32亿美元 [5][29] - 微软考虑用DeepSeek模型替代OpenAI,Databricks超1000家客户半月内采用R1/V3 [12] - 英伟达发布Project Digits个人算力平台,可本地运行2000亿参数模型,售价3000美元 [31][32] 资本动向 - 1月26家AI公司获超5000万美元融资,中国占2家,医疗AI和算力优化领域最活跃 [39][45] - OpenAI启动400亿美元融资估值达3000亿,Anthropic获30亿美元估值600亿 [40] - 四大科技公司+OpenAI联盟计划超8000亿美元算力投资,但微软暂停33亿数据中心建设 [33][36][37] 行业趋势 - Agent应用成竞争焦点:OpenAI推出Task/Operator功能,Anthropic/智谱同步跟进 [27][28][30] - 数据争夺白热化:OpenAI爬虫导致网站崩溃,反爬虫"下毒"程序在开发者论坛流行 [52][54][56] - 开源模型冲击商业市场:Meta组建团队研究DeepSeek技术,计划用于Llama新版 [9]