Gemini 3 的发布与市场地位 - 2025年底，Gemini 3以“世界最强多模态理解”、“交互最深智能体”、“推理怪兽”的姿态，在多项权威基准测试中“横扫”并“碾压”全球所有同类模型，强势突围 [2] - 谷歌CEO桑达尔·皮查伊亲自为Gemini 3站台，称其为“迄今为止最智能的模型” [2] Gemini 3 性能表现（基于基准测试数据） - 在“Harlord's Lott Each”测试中，Gemini 3得分为57.68，而GPT-5.8为26.6% [3] - 在“ARC 404-2”测试中，Gemini 3得分为51.18，而GPT-5.8为17.0% [3] - 在“OPGA Distribution”测试中，Gemini 3得分为91.98，而GPT-5.8为8.7% [3] - 在“Albat 2026”测试中，Gemini 3达到95.05 (100%)，而GPT-5.8为94.7% [3] - 在“Ventleye Stench 2”测试中，Gemini 3得分为$5,478.16，而GPT-5.8为$1,473.43 [3] 模型强大的核心原因 - Google DeepMind副总裁Oriol Vinyals指出，Gemini 3强大的核心秘诀在于“更好的预训练”和“更好的后训练” [2][10] - 预训练负责人Sebastian Borgeaud强调，Gemini 3的飞跃是无数细节持续优化的结果，而非单一环节的突破 [3] - 谷歌的研发模式已从单纯“做模型”转向“做系统”，其强大根源在于“研究、工程和基础设施”的深度融合 [3][16] - Gemini 3是在谷歌自研的TPU上进行训练的，体现了端到端的垂直整合优势 [16] 行业趋势与范式转变 - AI行业正从“无限数据”的规模化时代，迈入“数据有限”的新阶段 [4] - 在数据受限的背景下，合成数据、推理轨迹、长上下文、持续学习、端到端检索训练以及可靠的评估体系，共同构成行业未来的进化路径 [4] - 经典的Chinchilla项目结论在当下依然具有现实意义：在训练计算量固定的前提下，更快地扩展数据规模比盲目扩大模型规模更能训练出更优的模型，这直接影响模型推理的服务效率和使用成本 [4][22] 预训练的发展方向与创新重点 - 预训练的Scaling Law（规模定律）并未失效，规模依然重要，但架构创新和数据创新的权重已显著提升，甚至变得更为关键 [5][32] - 未来预训练的重点将转向架构创新，而非单纯追求“更大、更长、更贵” [7] - 长上下文和注意力机制是关键的创新变量，更长的上下文能让模型携带更多信息，拓宽能力边界 [7][37] - 更长期的方向是将检索与搜索以端到端、可微的方式深度融入训练，让“会检索”成为模型的内生能力 [7][39] - 公司内部有团队正在研究“后Transformer架构” [6][15] 对合成数据与数据策略的看法 - 对合成数据的使用持审慎态度，核心风险在于数据分布偏移可能导致模型陷入“自嗨”闭环 [5] - 建议的稳妥方案是：用强模型生成合成数据后，必须通过小规模可控消融实验验证其收益和潜在副作用 [5] - 一个核心研究问题是：用合成数据训练出的模型，能否超越生成数据的“老师”模型 [6][34] - Gemini 3的训练数据从一开始就是原生多模态的，融合了多种来源，为其多模态优势打下基础 [6][33] 持续学习与知识更新 - 基础模型一旦预训练结束，知识便基本定格，无法自动更新 [7] - 当前行业更可行的办法是在产品推理侧接入检索，将最新信息实时拉入上下文进行推理，从而避免频繁重训底座 [7] - 这与RETRO项目的思路一致，即将知识放在外部库，模型负责推理 [8] - 未来的目标是改变训练方式，让模型能在真实世界的数据流上持续训练，实现真正的“持续更新” [8][51] 评估体系的重要性 - 评估是预训练阶段的核心难题，如果评估体系跟不上，容易陷入“看似提升”的假象内耗 [8] - 公司内部搭建了专属的评估体系，因为外部基准很容易被污染，保留内部评估阵地是关键 [8][41] - 评估需要跨越两道鸿沟：一是小模型上的有效改进能否迁移到大模型；二是预训练阶段的优势能否在后训练后转化为真实可用的能力 [8][40] 成本与商业化考量 - 随着用户规模扩大，推理预算变得敏感，预训练环节必须为“上线落地”负责，在提升模型能力的同时，还要降低成本、节省资源 [8][52] - 原生多模态模型在处理图像等输入时，计算成本可能更高，但通过研究提升效率，其收益总体上远大于成本 [31] 模型架构细节 - Gemini 3是基于Transformer的混合专家（MoE）架构，其高层架构与上一代相比变化不大，性能飞跃是多个因素叠加的结果 [28][29] - MoE的核心思想是将“使用的计算量”和“参数规模”解耦，通过动态路由将计算分配到某些“专家”上执行 [30] 团队协作与研发文化 - Gemini 3的预训练团队规模庞大，日常参与人数可能在150到200人之间，成功是大团队共同协作的结果 [10][17] - 在谷歌/DeepMind，来自与其他实验室竞赛、强推基准目标的压力很少，领导层更重视研究进展与把研究做成 [26] 未来展望与行业影响 - 模型的能力进步不仅体现在基准测试上，更反映在内部人员使用模型提升生产力的真实工作场景中 [11] - 预测未来模型将更好地服务于科学研究，甚至可能助力获得诺贝尔奖，同时也会更深入地融入普通人生活，解决实际问题 [9][13] - 基础模型越来越强，对于不需要极度专门化的任务，使用通用模型更为合理，这改变了创业公司与研究者的关注点，如何更好地利用（harness）模型变得愈发重要 [55][56]

公司技术路线与战略 - Google DeepMind的Gemini预训练负责人Sebastian Borgeaud预测，未来一年内，大模型预训练领域将在提升长上下文处理效率以及扩展上下文长度方面迎来重大技术创新 [1][2] - 公司内部认知发生根本性转变，工作重心从“训练模型”转向构建一个完整的、可长期运行和迭代的“系统”，这是Gemini 3实现颠覆性进步的关键 [6][7][8][31][32] - 公司高层（Jeff Dean, Oriol Vinyals, Noam Shazeer）在描述Gemini时，刻意强调其是一个“系统”而非“模型”，这反映了公司追求构建一套能反复使用、不断进化的智能工业体系，而非昙花一现的成品 [31][32][34] 行业技术发展趋势 - AI发展范式正在经历潜在转移，从过去依赖“无限数据”扩大数据集的粗放模式，转向在“数据有限”体制下，更高效利用数据资源、精雕细琢的精细模式 [10][12] - Scaling Law（缩放定律）并未消亡，而是正在演变 [6] - 未来的行业竞争焦点将从“谁的数据中心更大”转向“谁的学习算法更高效”、“谁的模型架构更优雅”、“谁能从有限数据中提取更多智慧” [12] 关键技术前沿方向 - **长上下文处理**：超长上下文能力将持续创新，未来一年左右将在使长上下文更高效、并进一步扩展上下文长度方面看到更多创新，这将把模型变成真正的数字工作台，为复杂多步任务和深度研究提供可能，是迈向更强大“智能体”的关键基础设施 [1][14][16] - **注意力机制进化**：在注意力机制上已有一些真正有趣的发现，这将塑造未来几个月的大量研究，可能从底层显著提升模型的理解、推理和计算效率 [4][18] - **检索技术整合**：长期的答案是以可微分的方式让模型在训练和推理时学习检索外部知识库，实现检索与推理更原生的结合，动态从海量知识源获取信息，从而突破参数规模的知识容量限制 [19] - **效率与成本革命**：随着用户激增，模型部署和服务成本变得至关重要，未来研究将不再只追求性能峰值，还必须关注如何让强大模型变得“便宜又好用” [21][22] 模型能力发展重点 - 当前模型并不缺“聪明”，缺的是持续思考并在复杂任务中反复修正的能力，即“慢思考”（Slow Thinking）能力 [29][30] - 模型评估标准正在变化，榜单衡量的瞬时表现重要性下降，而模型的可靠性、迁移能力以及在复杂任务中持续自我修正的能力变得更为关键 [30] - 大模型的规模依然重要，但它不再是决定一切的唯一变量，单纯靠堆参数就能不断前进的道路已接近边界 [29] 研发理念与信心 - 进步源于无数细微改进的聚合，是庞大团队中日复一日发现的那些“旋钮”和优化 [10] - 尽管面临数据瓶颈、成本挑战等现实问题，但一线研究者对AI进步的总体判断依然充满信心，认为有大量细微但确定的改进空间，整个领域尚未枯竭的创造活力，至少在未来几年，这种进步势头不会放缓 [23][25]

行业技术动态 - 智谱AI在DeepSeek发布DeepSeek-OCR后不到一天即开源了自家的视觉Token方案Glyph，显示出行业在视觉压缩技术领域的激烈竞争[1][2] - 视觉Token技术正成为AI领域的新趋势，截至10月22日，抱抱脸上最受欢迎的前四个模型全部支持OCR功能[70] 长上下文处理的技术挑战 - 随着大语言模型能力提升，用户和厂商对长上下文的需求日益迫切，但扩充上下文会导致算力消耗呈指数级增长，例如从50K扩展到100K，算力消耗约为原来的四倍[8][9] - 单纯增加Token数量并不能保证模型表现线性提升，输入过长可能导致模型受到噪声干扰和信息过载[12][13][14] - 当前主流解决方案包括扩展位置编码、改造注意力机制和检索增强RAG，但各自存在推理成本高、效率提升有限或响应速度慢等局限性[15][18][21][23] Glyph技术方案的核心创新 - Glyph采用将文本渲染成图像的新范式，利用图像更高的信息密度实现Token压缩，仅需一个视觉Token就能容纳原先需要好几个文本Token的内容[25][26][30] - 该方案使固定上下文的视觉语言模型能够处理超长文本，例如将240K文本Token的《简·爱》压缩至约80K视觉Token，让128K上下文的模型可以处理完整内容[32][34][36] - 训练流程分为持续预训练、LLM驱动的渲染搜索和后训练三个阶段，通过遗传算法优化渲染参数，并在SFT和RL阶段加入辅助OCR对齐任务[37][39][43][44] 技术性能表现 - Glyph在多项长上下文基准测试中实现了3-4倍的Token压缩率，同时保持与主流模型相当的准确度[49] - 该技术带来约4倍的prefill与解码速度提升，以及约2倍的SFT训练加速，显著减轻算力负担[51] - 在极端压缩情况下，128K上下文的视觉语言模型能够应对相当于百万Token级的文本任务[60] 视觉Token的行业影响 - 视觉Token技术大幅提升处理效率，DeepSeek-OCR仅用100个视觉Token就能在原本需要800个文本Token的文档上取得97.3%的准确率[72] - 效率提升显著降低AI应用门槛，单张NVIDIA A100-40G GPU每天可处理超过20万页文档，仅需一百多张卡即可完成一次完整的模型预训练[74][75] - 视觉Token可能从底层重塑大语言模型的信息处理方式，未来像素可能取代文本成为下一代AI的基本信息单元[76][77]

产品升级 - 公司推出全新版本DeepSeek-V3.1-Terminus 同步上线思考模式与非思考模式双版本 均支持128K长上下文[1] - 模型统一升级为DeepSeek-V3.1-Terminus 其中deepseek-chat对应非思考模式 deepseek-reasoner对应思考模式[1] - 非思考模式默认支持4K输出 最高可达8K 思考模式默认32K输出 最大可扩展至64K[1] 技术优化 - 重点优化语言一致性 显著缓解中英文混杂及异常字符问题 输出更规范[1] - 强化Agent能力 进一步提升Code Agent与Search Agent的执行表现[1] 定价策略 - 新模型百万tokens输入费用为缓存命中0.5元 未命中4元[1] - 百万tokens输出定价12元 为开发者提供高性价比服务[1]

大模型技术突破 - MiniMax开源其首个推理模型M1，原生支持百万级上下文长度，在推理效率、计算成本和复杂任务能力上展现出与DeepSeek R1、Qwen3-235B等模型不同的技术路径与性能表现[1][2] - M1是全球首个开放权重的大规模混合注意力推理模型，凭借混合门控专家架构（Mixture-of-Experts，MoE）与Lightning Attention的结合，在性能表现和推理效率方面实现显著突破[4] - M1具备4560亿参数规模，其中每个token激活约459亿参数，原生支持最长100万tokens的上下文输入，是DeepSeek R1所支持长度的8倍[7] 性能与效率优势 - 在生成长度为10万tokens的场景下，MiniMax-M1的计算量（FLOPs）仅为DeepSeek R1的25%，在长文本处理任务中具备显著优势[7] - 完整强化学习训练在512块H800 GPU上仅耗时三周，成本控制在53.47万美元，展现极高效率与性价比[11] - 在标准基准测试中，MiniMax-M1在复杂软件工程、工具使用与长上下文任务等方面表现突出，整体表现已达到甚至超越DeepSeek-R1与Qwen3-235B等代表性开源模型[12] 技术创新 - 采用大规模强化学习（RL）方式，在数学推理、沙盒环境下的软件工程等多样任务中进行了全面优化[9] - 提出名为CISPO的创新型强化学习算法，针对重要性采样权重而非token更新进行裁剪，有效提升学习稳定性与性能表现，在对比实验中优于现有主流RL变体[10] - 训练两个版本分别设定40K与80K的思维预算（thinking budget），其中40K版本为中间训练阶段的成果[12] 应用与部署 - MiniMax-M1是开源即上线，可直接进入官网体验[13][15] - 模型在不到30秒的时间可完成技术报告里的公式、表格翻译[17] - 模型现已支持GitHub和Hugging Face平台，并兼容vILN和Transformers框架[19]