大模型安全对齐
搜索文档
刚刚,谷歌重回巅峰,发布最强模型Gemini 4 Carbon
猿大侠· 2026-10-29 12:18
文章核心观点 - 谷歌DeepMind发布Gemini 4 Carbon,在多项基准测试中登顶,AA Index v5.0得分59分,比Argon高9分,以1分优势超过此前榜首Claude Opus 5.5,时隔一年重回第一 [3][5] - 该模型在前端与3D能力、网络安全、长程任务等方面提升显著,但目前仅限特定开发者使用,普通用户何时可用尚不明确 [14][18][29] 基准测试表现 - AA Index v5.0得分59分,超越Claude Opus 5.5的58分区间水平,Vals Index v2.2达70.4%,高于Argon的69.2%和GPT-6 Astra的65.0% [3][5] - Agentic coding方面,SWE-sweep达9.6%(Argon为4.3%、GPT-6 Astra为9.5%),FrontierSWE 2达61.2%,Terminal-Bench 4.0达65.2% [3] - Computer use方面,Agents' Last Exam v1.1得分77.4%,OSWorld-2.1离线子集达81.5% [3] - Knowledge work方面,AutomationBench(Zapier)达53.9%,Vending-Bench 2银行余额为16,484美元,高于GPT-6 Astra的15,515美元和Claude Opus 5.5的9,235美元 [3] - 多模态理解方面,Chartography达72.5%,Blueprint-Bench 2相似度得分58.6% [3] - 长上下文方面,GraphWalks 256k至1M BFS(F1)达96.2%,大幅领先Argon的84.2%和GPT-6 Astra的71.8% [3] - 科学与数学方面,RiemannBench达80.0%,Terminal-Bench-Science 0.1达64.8% [3] - Arena盲测用户投票榜单中,文本榜单登顶第一、Agent榜单排名第二 [8] 网络安全能力 - SEC-bench Pro、ExploitGym、CWE-bench三项榜单均位列第一,分别为88.2%、54.8%、71.0% [30][31] - 安全代码生成任务成功率是Argon的两倍多,Chrome团队发现其在生成高质量安全补丁方面比另一家实验室的前沿模型高出十倍以上 [31] - 谷歌云安全平台Wiz观察到Carbon在网络应用渗透测试中处于领先位置 [32] - Gray Swan IPI越狱攻击测试中,最多十五次尝试下攻击成功率为0%,而K3诱导成功率高达53% [33][34] 前端与3D能力 - 前端和3D能力提升明显,社区关注点主要在审美提升和对3D空间理解能力提升 [18] - three.js制作的汽水案例逼真度接近blender水准,黑洞案例构图具故事感,3D城市案例被认为比之前所有大模型生成的城市更精美自然 [20][22][24] - Arena评测负责人评价Carbon比Argon强出太多,认为Argon那一版其实不必单独发布 [28] - 谷歌是最早宣传原生多模态模型的大厂,Gemini在多模态领域和世界知识上表现持续领先 [28] 长程任务与自主能力 - 谷歌内部团队观察到Carbon连续运行数天,在发现一条路走不通后会自行换路,从而解决大型代码库和底层系统的bug [29] 定价 - 标准价每百万token输入4美元、输出20美元,首发打5折,性能超越Opus 5.5的同时价格更低 [11] 可用性与行业影响 - Gemini 4 Carbon仅允许特定开发者使用,普通用户可用时间未知;Argon发布时至少部分Pro用户和API能用上 [14][15] - 行业关注该模型是刷榜战神还是真实全球最强,X上已有测试案例可供观察真实能力 [16][17] - 谷歌面临让用户尽快用上的迫切问题,用户对模型上线后降智的担忧已成常态 [37][39][41]
刚刚,谷歌发布最强模型Gemini 4 Carbon!荣登榜首
机器之心· 2026-10-29 06:54
文章核心观点 - Google推出新一代前沿模型Gemini 4 Carbon,号称「最强模型」,在网络安全和长程任务处理能力方面均达到当前最先进水平 [1] - Carbon能够连续数天处理复杂任务,不会陷入停滞,也不会为完成任务走捷径,最终交付高质量可靠的代码 [1] - 距离上一款旗舰Gemini 4 Argon发布仅过去两周,Google正以闪电般的速度迭代新模型 [1] - Carbon在第三方评测机构Artificial Analysis智能指数v5.0中拿到59分登顶第一,紧随其后的Claude Opus 5.5是58分,GPT-6 Astra是57分 [3] 网络安全能力 - Carbon覆盖网络安全防御三个关键阶段且每个阶段均做到SOTA [5] - 寻找漏洞:SEC-bench Pro上Carbon拿下88.2%,超过GPT-6 Astra的85.4%和Argon的83.4% [5] - 验证漏洞:ExploitGym上Carbon得分54.8%,大幅领先第二名GPT-6 Astra的42.4% [7] - 在10小时时限下Carbon与6小时时限差距很小(54.8% vs 53.5%),说明较短时间内就能完成大部分验证工作 [7] - 修复漏洞:CWE-bench上Carbon达到71.0%,将验证后的发现直接转化为可工作的代码修复 [9] - Carbon生成安全代码的成功率比Argon提升超过2倍 [10] - Chrome浏览器团队报告Carbon在生成高质量安全补丁方面比另一家实验室的大型前沿模型表现好10倍以上 [10] - Google旗下云安全平台Wiz参与测试,观察到Carbon在Web渗透测试基准中表现领先 [11] 长程任务能力 - Carbon可在大型代码库和底层系统中持续运行数天,完成跨文件的根因追溯与补丁生成 [13] - 遇到死胡同时模型能自主调整策略继续推进,不会直接终止任务 [13] - GraphWalks测试(256k至1M token范围BFS F1)中Carbon从Argon的84.2%跃升至96.2%,领先GPT-6 Astra的71.8%和Claude Opus 5.5的66.8%超过20个百分点 [13] - 支持1M token上下文窗口,意味着模型可一次性处理约1500页A4文档的等量信息 [13] - Agent工作流对模型提出更高要求,复杂开发任务涉及持续跟踪代码变更、协调多个分支修改、处理跨模块依赖及反复测试修复,可能持续数小时甚至数天 [13] - 能否在漫长执行过程中保持目标一致、及时纠错并最终交付可靠结果,正成为衡量前沿大模型实际工程价值的重要标准 [14] Benchmark全景与智能指数 - Carbon以总分59登顶Artificial Analysis智能指数v5.0,在其中4项拿下单项第一(HLE-Diamond、Terminal-Bench-Science、AA-Omniscience、AutomationBench-AA) [16] - 比Claude Opus 5.5(58分)高1分,比GPT-6 Astra(57分)高2分,比两周前的Argon(50分)提升9分 [16] - Artificial Analysis评价Carbon的领先由复杂推理、知识和科学任务上的强势表现驱动,在编程和知识工作方面有大幅进步,但尚未全面领先 [16] - Vals Index v2.2上Carbon得分70.4%,Argon为69.2%,GPT-6 Astra为65.0%,Claude Opus 5.5为70.2% [4] - SWE-sweep上Carbon为9.6%,Argon为4.3%,GPT-6 Astra为9.5%,Claude Opus 5.5为3.6% [4] - FrontierSWE 2上Carbon为61.2%,GPT-6 Astra为65.5%,Claude Opus 5.5为62.3% [4] - Terminal-Bench 4.0(AA)上Carbon为65.2%,Argon为57.1%,GPT-6 Astra为59.1%,Claude Opus 5.5为59.6% [4] - Agents' Last Exam v1.1上Carbon得分77.4%,Argon为69.0%,GPT-6 Astra为73.1%,Claude Opus 5.5为71.6% [4] - OSWorld-2.1离线子集上Carbon为81.5%,Claude Opus 5.5为87.2%,GPT-6 Astra为80.9% [4] - AutomationBench(Zapier)上Carbon为53.9%,Argon为51.3%,GPT-6 Astra为41.4%,Claude Opus 5.5为42.5% [4] - Vending-Bench 2银行余额上Carbon为$16,484,GPT-6 Astra为$15,515,Argon为$13,718,Claude Opus 5.5为$9,235 [4] - Chartography上Carbon为72.5%,Argon为71.6%,GPT-6 Astra为71.0%,Claude Opus 5.5为66.3% [4] - Blueprint-Bench 2相似度得分上Carbon为58.6%,Argon为54.4%,Claude Opus 5.5为51.2%,GPT-6 Astra为49.7% [4] - RiemannBench上Carbon为80.0%,Argon为76.0%,GPT-6 Astra为72.0%,Claude Opus 5.5为69.6% [4] - Terminal-Bench-Science 0.1(AA)上Carbon为64.8%,GPT-6 Astra为63.3%,Claude Opus 5.5为59.0%,Argon为52.9% [4] - CWE-bench上Carbon为71.0%,Argon为68.0%,GPT-6 Astra为68.0%,Claude Opus 5.5为67.0% [4] - ExploitGym上Carbon为54.8%,GPT-6 Astra为42.4%,Argon为42.0%,Claude Opus 5.5为34.5% [4] - SEC-bench Pro上Carbon为88.2%,GPT-6 Astra为85.4%,Argon为83.4% [4] 编程能力 - 编程是Google模型传统短板,Carbon进步幅度最值得关注 [19] - Artificial Analysis Coding Agent Index上Carbon搭配Antigravity CLI(high reasoning)得分59,仅落后排名第一的Claude Code + Claude Opus 5.5(max reasoning,62分)3分 [19] - Terminal-Bench 4.0得分64%,FrontierCode v1.1得分51%,两项均排名第二,仅次于Claude Opus 5.5(max,56%) [19] - WebDev Arena上跃升89 Elo至第四名(1768 Elo) [19] 知识工作与知识可靠性 - AA-Briefcase上Carbon(high)得分1609 Elo,较Argon(high,1483)提升126点 [24] - 提升最大的是Presentation维度,跃升293 Elo至1598;Analytical Quality提升120点至1671 [24] - 整体仍落后于Kimi K3.1 Pro(1678)、Muse Wonder(max,1659)和Grok 4.7(xhigh) [24] - AA-Omniscience v1.1上Carbon得分54,领先Claude Opus 5.5(max,48)6分,领先Argon(46)8分 [30] - 准确率从Argon的48%提升至58%,涨了10个百分点 [30] - 幻觉率从Argon的4%上升至11%,但仍是所有模型中第二低,仅次于Argon [30] - Claude Opus 5.5(max)和GPT-6 Astra(max)的幻觉率均为50% [30] 科学与数学能力 - RiemannBench 80.0%,Terminal-Bench-Science 64.8%,均为当前最高分 [38] 成本效率 - Carbon完成一项智能指数任务的平均成本为7.76美元,较Claude Opus 5.5(max,10.04美元)低约23%,约为GPT-6 Astra(max,6.25美元)的1.2倍 [38] - 每任务平均输出123k token,比Claude Opus 5.5(max,173k)少29% [38] - 与同价位Argon(每任务7.68美元)相比成本基本持平,但智能指数高出9分 [38] 安全对齐 - Carbon在安全对齐上延续Argon的多层防御体系,包括训练阶段对齐、实时滥用检测、提示注入防御和思维链监控,并进一步强化 [41] - 作弊率降至0.0%,Terminal-Bench 4.0测试中作弊成功率为零,尝试作弊比例仅0.4%,同时整体任务准确率仍在提升 [41] - 提示注入攻击成功率0.0%,在Gray Swan间接提示注入基准测试(k=15次攻击尝试)中成功抵御所有攻击 [41] - 对比其他前沿模型:Argon 0.7%、Claude Opus 5.5和Claude Fable 5.1均为1.0%、GPT-6 Astra为8.5%、Grok 4.6高达51.8% [41] - 过度执行(overreach)减少26%,执行不足(under-service)减少29% [43] - 面对模糊任务时模型会主动检索相关来源并向用户呈现信息差异,确认后再行动,不猜测或强行推进 [43] - 无依据声明较Argon减少约2倍,关键信息缺失时会在输出中直接标注方法论限制或列出未完成前置条件 [43] - 内部团队实测高严重性对齐告警较Argon减少近80% [44] 定价与可用性 - Carbon定价与Argon保持一致,标准价为每百万输入token 4美元、每百万输出token 20美元 [46] - 目前提供50%的上线折扣,结束时间未定 [46] - 缓存输入token享受95%折扣,折后仅0.20美元/百万 [46] - 上下文窗口1M token,支持文本、图像、视频和语音输入 [46] 行业竞争格局 - Claude刚发布新模型,Google就推出Carbon,OpenAI随即加大火力,AI行业竞争激烈 [47] - Google一度在前沿大模型高速迭代中失了声量,但最近接连拿出的新成果尤其是Carbon让人眼前一亮 [49] - 巨头你追我赶、竞争越激烈对整个行业越是好事 [49] - 行业更希望看到模型在真实任务中拿出实打实的进步,而非靠夸张营销制造声量 [49][50]