文章核心观点 - 2025年人工智能领域的技术发展标志着“暴力美学”时代的终结，行业从单纯依赖堆砌参数转向深化基础研究，以突破通用人工智能的瓶颈 [5] - 技术进步主要集中在流体推理、长期记忆、空间智能和元学习四大领域，旨在解决模型在即时推理、长期记忆和视觉处理等方面的能力偏科问题 [6] - 通过测试时计算、新型记忆架构、世界模型和元学习等方向的突破，行业在“补短板”方面取得了显著成功，为模型能力的整体提升和未来演进奠定了基础 [7] 流体推理的进化 - 测试时计算的范式革新：智能被重新定义为不仅是参数的函数，也是时间的函数，以OpenAI o1和DeepSeek R1为代表的模型通过在推理阶段投入更多计算资源进行“慢思考”，实现了推理能力从0到8的质变 [11][12][13] - 强化学习工程优化：强化学习在提升推理能力中扮演关键角色，其工程可拆分为探索策略、评分系统和参数更新算法三部分，2025年后两部分有明显发展 [15] - 评分系统革新：基于可验证奖励的强化学习和稀疏奖励指标全面崛起，通过给予模型对错结论作为奖励信号，使其能自发探索推理过程，大幅提升了在数学、代码等领域的能力 [16][17] - 参数更新算法革新：GPRO算法流行，它通过让模型生成一组答案并计算平均分来替代传统的评论家模型，节省了50%的显存，成为国内各家公司在2025年延展的基础框架 [19] - 强化学习存在天花板：研究发现强化学习的性能增长符合S型曲线而非幂律，存在性能天花板，但其工程实践（如使用长思维链和大批量大小）已变得更加精确和可预测 [21][23] 记忆与学习 - 记忆能力是短板：长期记忆存储是通往通用人工智能得分中仍为0的能力分支，缺乏记忆导致模型无法在现实中自我学习，且个性化体验难以实现 [25][26] - Titans架构突破：这是一个深度的神经长期记忆模块，能在推理时实时更新自身参数，根据输入信息的“惊奇度”决定存储内容，并引入遗忘机制，从根本上挑战了Transformer的无状态假设 [28][29][30][31] - Nested Learning架构：将模型参数按低、中、高频率分层更新，使整个模型参数非冻结，能够持续学习和保有长期记忆，其成本低于传统的监督微调和强化学习方法 [31][33] - RAG的模型化演进：检索增强生成系统从静态资料库演变为具备反思与进化能力的系统，例如ReMem引入了“行动-思考-记忆-优化”的全链路处理，能对记忆进行修剪、重组和清理，实现经验复用 [35][36][38] - 克服灾难性遗忘：通过稀疏记忆微调等方法，模型在注入新知识时仅更新部分参数槽位，在TriviaQA任务中仅导致11%的旧知识遗忘，远优于全量微调的89% [39][40] - 策略蒸馏进步：在策略蒸馏结合了强化学习的采样和监督微调的密集反馈，让学生模型在自己的“犯错分布”中学习，提供了一种低成本且避免遗忘的参数更新方式 [42] 空间智能与世界模型 - 视觉处理能力提升：在Sora 2、Veo 3等视频生成模型爆发的推动下，视觉处理能力从2024年的0分提升至2025年的5分，模型开始展现出对物理规律的掌握 [45] - 自监督生成模型的缩放定律：视觉自回归模型和扩散Transformer被证实遵循特定的缩放定律，例如DiT模型对批量大小和学习率高度敏感，但遵循特定定律后能力可大幅提升 [46][47] - 原生多模态的优势：研究发现，尽管训练效率较低，但原生多模态架构在参数利用率上可能比晚期融合架构有更高的性能上限 [49] - VAE的替代方案：SVG模型通过直接用图像理解模型代替变分自编码器，统一了语义空间，据称训练效率提升6200%，并在多项指标上击败了扩散Transformer和SDXL [50] - 符号主义的世界构建：以李飞飞团队Marble平台为代表，其基于3D高斯泼溅等技术，从多模态输入生成可探索的3D空间表示，追求更稳定和可控的生成效果 [53][55][56] - 预测即理解的路径：Meta的V-JEPA 2通过预测被遮挡的视觉内容来学习物理规则的表征，在使用超100万小时视频训练后，模型展现出了反事实预测的能力 [57][58][59] 元学习 - 元学习的核心价值：赋予模型“学习如何学习”的能力，使其能通过少量样本快速适应新问题，是实现低成本快速适应和应对未知世界的关键 [62][63] - 对上下文学习的重新审视：有研究认为上下文学习可能只是激活了预训练知识而非真正学习，这与元学习理念不同，但2025年出现了利用改进的上下文框架进行元学习的新尝试 [64][65] - 测试时计算催生隐式元学习：研究证明模型在推理时的长思维链探索本质上是寻找最优路径，通过优化探索策略（如最小化累积遗憾）可以引导模型学会如何分配算力进行有效思考 [66][69] - 显式元学习系统的探索：例如DiscoRL系统，通过内外双层循环让AI自主发现学习算法，其发现的Disco57算法在雅达利基准上击败了人类设计的顶级算法，并展现出强大的泛化能力 [70][72] - 中训练路径：介于预训练和强化学习之间，让智能体通过自主探索产生后果并反思，以建立因果模型，在复杂环境中的成功率平均提升9.6% [72][73] 其他关键技术进展 - 对抗数据与算力瓶颈：行业通过混合专家模型、合成数据与强化学习结合来突破瓶颈，例如利用DeepSeek-R1生成的长思维链数据对小模型微调，效果优于人类专家编写的数据 [81][82] - 数据质量重于数量：研究表明数据达到一定规模后存在冗余，筛选前10%最长、最复杂的推理路径样本进行训练，其效果可匹配甚至超越全量数据集 [83] - 合成数据与模型崩溃：大规模使用合成数据可能导致模型崩溃，但通过自我验证机制过滤（如设定置信度阈值）或使用另一个模型作为裁判进行清洗，可以有效缓解此问题 [85][86] - 小模型能力的飞跃：蒸馏技术的进步是关键，包括针对混合专家模型的特化蒸馏方案（学习所有专家的“暗知识”）以及思维融合蒸馏（提取多个教师模型的稳健推理逻辑） [88][90][92] - 注意力机制演进：多头潜在注意力及其变体普及，用于降低显存占用；线性注意力通过混合架构（如Kimi Linear的3:1设计）在性能上首次全面超越全注意力，并在1M上下文解码时吞吐量达到全注意力的6.3倍 [94][96] - 连续空间建模：大型概念模型和连续自回归语言模型等尝试打破离散词元的限制，通过预测连续概念向量来提升语义带宽和推理速度 [97][100] 2026年可能的技术方向 - 记忆工程化实践：记忆技术预计将在2026年迎来大规模工程化落地，涉及架构层革新或现有RAG、监督微调技术的精修，以实现持续学习和个性化智能体 [103][104] - 标准架构变革：模型架构可能向分区、分层、增加功能层（如记忆层）的混合架构演进，以更贴近人脑运作模式，补齐能力短板 [105][106] - 自进化AI的探索：在记忆、合成数据和元学习等技术完善的基础上，能够让AI进行自我对弈、自我算法优化的自进化研究将在2026年产生更多可能性 [107][112]