Workflow
Gemini 2.5 Pro
icon
搜索文档
实测GPT Image 1.5,拼尽全力还是没能打败Banana。
数字生命卡兹克· 2025-12-17 07:00
在Google的Banana淫威之下。 OpenAI憋了很久之后,终于把他们的图片生成模型给掏出来了。 看一下他们的宣传视频。 突然想起了今年3月26号的时候,OpenAI第一次掏出GPT-4o的生图模型,也就是GPT Image 1.0,然后同天,Google发布了 Gemini 2.5 Pro,事后看, Gemini 2.5 Pro肯定是一个伟大的模型。 但是那一天的时候,在整个X上、各种群里,大家讨论的全部是GPT-4o。 那时候,我们说, 1.5 Pro被Sora淹,2.5 Pro被4o淹。 结果半年过去,风水轮流转,现在属于OpenAI天天被Google摁在地上打。。。 所以这一次,不是传闻中的GPT Image 2.0,跟Nano Banana Pro一样,用了一个小版本号去升级,用了1.5。 有一种感觉,就是怕被Google打脸。。。 半年前,OpenAI意气风发,谁能想到,如今是这样的结局。 跟随着新模型的上线,ChatGPT上,也上了一个全新的图像界面。 点开以后,是这个样子的。 就是这个粉粉的背景色,放在深色模式下,真的不好看。 OpenAI其实明显感觉到,在C端体验上,做的确实还是比Go ...
a16z 提出 AI 产品的「水晶鞋效应」:第一批用户反而是最忠诚的
Founder Park· 2025-12-12 14:00
文章核心观点 - AI领域的用户留存模式与传统SaaS行业存在根本性差异,出现了“灰姑娘水晶鞋效应”:如果一个新模型在发布初期就能完美解决用户的某个高价值、未被满足的难题,那么首批用户将表现出极高的忠诚度和留存率,并深度绑定业务,这与传统SaaS先发布MVP再迭代改善留存的模式相悖 [1][4][5][7] AI时代用户留存的新范式 - 传统SaaS的典型做法是先发布功能较少的最小可行产品,然后通过快速迭代功能来改善用户留存,初期用户流失被视为常态 [4] - AI领域出现了新现象,一些产品从第一批用户开始就获得了非常高的留存率,用户似乎找到了他们真正需要的东西并长期使用,这形成了“灰姑娘水晶鞋效应” [5] - 该效应比喻市场上存在一批有潜在需求的“客户”(灰姑娘),他们持续寻找能完美解决其“未解决的工作负载”的方案,当某个“前沿模型”以极高精度解决某个棘手且高价值的问题时,就产生了“工作负载-模型匹配”,用户会被有效“锁定” [7][8] - 早期具备高粘性的用户被称为“基础用户群组”,他们通常在模型发布初期出现,留存率非常高,甚至可能比后期加入用户的留存率更高 [8] - 后期用户忠诚度更低,因为他们更多是抱着实验性态度,或者其需求已被其他方案满足,模型只是众多工具中的一个,未被满足的需求会促使他们转向试用新模型 [9] 关键数据与案例分析 - 分析基于OpenRouter平台上60多家提供商的300多个模型,以及100万亿个token的交互数据 [1] - OpenRouter的模型使用量在一年内增长了10倍,处理的Token数量从10万亿增至100万亿以上 [7] - **正面案例:Google Gemini 2.5 Pro**:2025年6月发布的群组在5个月后仍有约20%的用户保持活跃,留存率非常高 [14] - **正面案例:Anthropic Claude 4 Sonnet**:2025年5月的发布群组在第4个月时用户留存率约为40%,显著高于其后期用户群组 [15] - 上述案例表明,当模型凭借明确技术优势发布时,有一个短暂窗口期来吸引“基础用户群组”,一旦成功,这些用户会成为核心用户并长期维持高使用率 [16] - **反面案例**:如Google Gemini 2.0 Flash和Llama 4 Maverick等模型,由于未能实现能力上质的提升,所有用户群组留存率都很低且行为相似,未能形成“基础用户”,图表中所有群组的留存曲线都纠缠在一起 [17] 对AI公司和投资者的启示 - **留存率是关键北极星指标**:早期用户的高留存率是判断能力“真突破”的关键指标,所有群组都快速流失是危险信号,而存在高留存的基础用户群组则值得深入研究 [6][24] - **重新定义先发优势**:率先进入市场不一定成功,关键在于谁能率先完美解决某一类问题,第一个实现新能力水平的模型能锁定大部分忠实用户,因为用户已围绕该模型构建工作流,带来高昂的转换成本和商业“锁定” [6][24] - **PMF等同于工作负载-模型匹配**:在AI领域,实现产品市场匹配意味着比任何对手都更好地解决某一个高价值的工作负载,当产品能够精准满足某一需求时,用户的留存率自然就有了 [6][24] - **“前沿模型”的窗口期非常短暂**:数据显示,“前沿模型”的领先地位是暂时的,可能只有几个月,这是获得“基础用户”的唯一机会,一旦错过就只能陷入增量改进的激烈竞争 [6][16][24] - **需要把某一维度的能力做到极致**:靠“通用”取胜很难,AI下一阶段的竞争不仅是模型更大或更快,更是要找到并彻底解决市场中那些高价值的、未被满足的需求,成为第一个完美解决方案 [6][23][24]
微软祭出在亚洲最大投资,175亿美元豪赌印度AI
钛媒体APP· 2025-12-10 11:26
12月9日,微软CEO萨提亚·纳德拉(Satya Nadella)通过X发文称,公司承诺投资175亿美元,帮助印度 构建人工智能未来发展所需的基础设施、技能培训和自主能力建设。 纳德拉是在当日会见印度总理莫迪后宣布的这一消息的。这位全球市值第四高企业的印度裔掌舵者表 示,这是微软在亚洲有史以来最大的一笔投资。 这笔投资将在2026年至2029年逐渐落地。微软方面称,投资的重点是以超大规模数据中心为核心的AI 基础设施建设。其中,微软在特伦甘纳邦首府海得拉巴的数据中心预计2026年中投运,届时将成为其在 印度最大的数据中心。 截图来自社交平台X 以全球投资切入,微软重新布局AI战略 据微软官方发布的新闻稿,纳德拉与莫迪的会晤是"微软印度AI之旅的开端"。但实际上,今年1月纳德 拉访印时,就已宣布过一项30亿美元的投资计划。 不到一年,投资金额暴涨至175亿美元,超过了微软近一年多以来宣布的在葡萄牙、阿联酋、加拿大等 主权国家的AI投资。 据最新的投资承诺,微软表示,到2030年为2000万印度人提供必要的AI技能,并在当地创造就业机 会,同时,利用AI技术为印度政务数字平台的建设提供支持,向印度客户推出Sove ...
准确率腰斩,大模型视觉能力一出日常生活就「失灵」
36氪· 2025-12-09 14:59
研究核心观点 - 研究团队提出了首个跨领域第一人称视频问答基准EgoCross,旨在评估多模态大语言模型在手术、工业、极限运动及动物视角等专业场景下的泛化能力,揭示了现有模型在这些领域存在显著性能瓶颈[1][3][9] 基准数据集构建 - EgoCross基准覆盖手术、工业、极限运动、动物视角四个高价值专业领域,包含957个高质量问答对[3][9] - 数据集为每个问答对同时提供开放式和选择式两种评测格式,并设计了识别、定位、预测、计数四类共15种细粒度任务[9][12] 模型评估结果 - 团队全面测试了8款主流MLLM,包括GPT-4.1、Gemini 2.5 Pro等闭源模型及Qwen2.5-VL、VideoLLaMA3等开源模型[4][9] - 实验显示,即使在表现最好的模型中,跨域场景下的选择式问答准确率也低于55%,开放式问答准确率低于35%,远低于日常场景73.58%的准确率[9][13] - 工业和极限运动领域对模型挑战最大,动物视角相对容易;预测类任务比基础识别任务性能下降更严重[13] 性能改进方法 - 研究尝试了提示学习、监督微调和强化学习三种改进方法,其中强化学习带来的性能提升最显著[4][10][15] - 以Qwen2.5-VL-7B为基座,强化学习方法在四个领域上平均带来约22个百分点的选择式问答准确率提升,在动物视角领域准确率从43.40%提升至75.47%[15][16] - 监督微调在工业领域使性能相对基线提升接近20个百分点[16]
100万亿Token揭示今年AI趋势,硅谷的这份报告火了
36氪· 2025-12-09 11:21
开源与闭源模型格局演变 - 开源模型使用量稳步增长,预计到2025年底将达到总用量的约三分之一,与闭源模型形成互补关系而非零和博弈 [5][7] - 中国开源模型成为增长主要引擎,其每周Token使用量占比从2024年底的1.2%最高激增至30%,平均占比为13% [5][9] - 开源模型市场从高度集中转向多元化,2025年上半年DeepSeek V3和R1占开源用量一半以上,但预计到年底没有单一模型能持续占比超25%,市场将由5-7个模型均分 [12] 模型形态与市场偏好变化 - 中型模型(参数在150亿至700亿之间)更受市场青睐,小模型(参数少于150亿)正在失宠,市场分化为强大的中型模型类别或整合到最强大的单个大型模型上 [15] - 开源模型不再被视为闭源“平替”,而是找到了特定场景的首选定位,开发者往往同时使用两类模型 [7] 推理模型与工具调用成为新范式 - 模型正从“语言生成系统”转变为“推理执行系统”,使用推理的Token用量从年初可忽略不计增长至超过50% [5][18] - 在所有推理模型中,xAI的Grok Code Fast 1使用的推理流量份额最大,领先于Gemini 2.5 Pro和Gemini 2.5 Flash [19] - 模型调用工具的功能使用占比上升,从最初集中于GPT-4o-mini和Claude 3.5/3.7系列,发展到更多模型支持,Claude 4.5 Sonnet等新玩家取得显著进展 [24] AI主要应用场景与使用方式演变 - 编程和角色扮演是AI模型的主要使用方式,编程查询用量从年初的11%上涨至最近的超50% [6][33] - 在所有编程模型中,Claude系列长期占据主导地位,大部分时间占比超过60%,但其在2025年11月市场份额首次跌破60% [36] - 在开源模型中,角色扮演使用量占比高达52%,中国开源模型DeepSeek的流量中有超过三分之二用于角色扮演和闲聊 [40] - 用户使用模式变复杂,从“写短文”到“解难题”,平均每次提示词长度增加约4倍,完成任务所需Token用量增加近3倍 [26][27][30] - 模型正变成“自动Agent”,用户给出复杂目标后,模型能自行规划步骤、调用工具并在长对话中保持状态以完成任务 [33] 主要厂商模型的应用侧重 - Anthropic模型80%以上流量用于编程和技术任务 [43] - xAI模型同样专注于编程,其技术应用、角色扮演及学术用途在2025年11月下旬显著增长 [47] - Qwen模型主要发力编程端,角色扮演和科学类任务占比随时间波动 [51] - OpenAI模型的工作重点从娱乐休闲活动逐渐转向编程和技术类任务 [53] 用户留存呈现“水晶鞋效应” - 大部分用户会快速流失,但每一代前沿AI模型发布时,会锁定一小批任务需求与其新能力完美匹配的“天选用户”,形成高粘性 [57] - 典型案例如Claude 4 Sonnet和Gemini 2.5 Pro,发布5个月后用户留存率仍保持40%高水平 [57] - “水晶鞋效应”窗口期很短,基本只在模型刚发布被视为“最前沿”的那段时间,一旦竞品发布抹平能力差距,再吸引新用户将非常困难 [57][60] 区域市场与语言使用变化 - AI不再是硅谷独角戏,亚洲地区付费使用量占比从13%翻倍至31% [61] - 北美仍是最大市场,但份额已不足50% [61] - 英语以82%份额占据绝对主导,简体中文以近5%份额位居第二 [61] 模型定价与使用量的关系 - 模型价格下降对使用量的影响比想象中小,价格下降10%,使用量仅增加0.5%-0.7% [61] - 存在“杰文斯悖论”,当模型变得足够便宜且好用,人们会在更多地方、用更长上下文、更频繁地调用,导致总Token用量飙升,总支出可能并不降低 [61]
准确率腰斩!大模型视觉能力一出日常生活就「失灵」
量子位· 2025-12-09 09:21
研究背景与核心问题 - 当前大多数第一人称视频问答基准集中于日常生活活动,忽略了真实世界应用中的巨大领域差异[3] - 现有多模态大语言模型在真实专业场景中面临泛化瓶颈,例如在外科、工业、极限运动与动物视角等场景下表现不佳[1] - 研究核心在于评估模型在视觉风格和语义内容上与日常家务大相径庭的专业领域中的表现,即应对领域差异的能力[7][8] EgoCross基准概述 - 该研究首次提出跨域第一视角视频问答基准EgoCross,填补了该领域的评估空白[3] - 基准覆盖手术、工业、极限运动、动物视角四个高价值专业领域[3] - 数据集包含957个高质量问答对,覆盖识别、定位、预测和计数四类核心任务下的15种子任务[11][12] - 每个问答对同时提供开放式和选择式两种评测格式[3][12] 模型评估关键发现 - 评测了8款主流多模态大语言模型,包括GPT-4.1、Gemini 2.5 Pro等闭源模型,以及Qwen2.5-VL、VideoLLaMA3等开源模型[12] - 模型在跨域场景中表现不佳:表现最好的模型在闭卷格式下准确率低于55%,在开卷格式下低于35%[12] - 领域差距显著:模型在日常活动基准上的准确率为73.58%,但在EgoCross跨域场景中骤降至43.14%[13] - 专业领域挑战不均:工业和极限运动领域对模型最具挑战性,动物视角相对容易[13] - 任务类型影响显著:预测类任务比基础识别任务性能下降更严重[18] - 通用大模型表现优于专用模型:Gemini 2.5 Pro等通用模型优于专门针对第一人称视频训练的模型,表明当前领域适应方法存在局限[13][18] 模型性能数据详述 - 在手术领域,GPT-4.1闭卷准确率为57.24%,开卷为39.58%;Gemini 2.5 Pro闭卷为61.48%,开卷为42.40%[13] - 在工业领域,GPT-4.1闭卷准确率为45.71%,开卷为12.24%;Gemini 2.5 Pro闭卷为37.55%,开卷为24.49%[13] - 在极限运动领域,GPT-4.1闭卷准确率为43.09%,开卷为20.33%;Gemini 2.5 Pro闭卷为43.90%,开卷为21.54%[13] - 在动物视角领域,GPT-4.1闭卷准确率为64.48%,开卷为34.43%;Gemini 2.5 Pro闭卷为68.85%,开卷为49.18%[13] - 开源模型Qwen2.5-VL-7B总体闭卷准确率为44.82%,开卷为20.41%[13] 改进方法探索与效果 - 研究探索了提示学习、监督微调和强化学习三种改进方法[12] - 提示学习通过在推理阶段加入领域特定提示,不改动模型参数,挖掘模型已有能力[15] - 监督微调在目标领域少量数据上全参数微调,在工业领域使性能相对基线提升接近20个百分点[15] - 强化学习方法基于GRPO框架,对模型策略进行优化,在四个领域上平均带来约22个百分点的闭卷准确率提升,效果最显著[12][15] - 具体数据:以Qwen2.5-VL-7B为基座,强化学习方法使其在手术、工业、极限运动、动物视角领域的平均准确率从44.82%提升至60.12%[14] 研究价值与影响 - 该研究系统揭示了现有多模态大语言模型在跨域第一人称视频理解上的短板[4] - 研究验证了微调、强化学习等方法的改进潜力,为未来构建更具泛化能力的模型提供了方向[4][12] - 所有数据集、代码已全部开源,该项研究已入选AAAI 2026[5]
争夺印度市场,美国AI巨头轮番访印,祭出“免费”大招
华尔街见闻· 2025-12-09 09:13
在未来数月内,英伟达黄仁勋和谷歌DeepMind的Demis Hassabis均计划到访印度。AI投资者、教育科技 初创公司UpGrad联合创始人Ronnie Screwvala表示: 他们来这里是为了建立用户群来改进产品和服务,印度正成为AI经济的试验场。 全球AI巨头正掀起一场争夺印度市场的竞赛,从微软到OpenAI,科技领袖们接连访问新德里,试图用 前所未有的免费策略锁定全球人口第一大国。 本周,微软首席执行官Satya Nadella再次访问印度,预计将会见印度总理莫迪及商界领袖。今年1月 Satya Nadella访问印度期间,承诺在未来两年内投资30亿美元。 为争夺印度市场,科技公司推出了其他市场罕见的免费优惠: 分析认为这场竞赛不仅关乎用户数据,更涉及印度庞大的AI人才储备和快速扩张的数字经济。科技巨 头已承诺向印度AI领域投资数百亿美元,该国正从全球外包中心转型为AI创新枢纽。 庞大的人才库与研发转型 AI公司不仅将印度视为消费市场,更看重用户生成的高质量数据。 据报道,24岁的商学院学生Siddhant Sharma,利用OpenAI的ChatGPT和Google的Gemini撰写研究论文、 ...
AI卖货上演“甄嬛传”:Claude Opus 4.5 狂赚10倍,GPT-5.1被骗到底裤不剩
36氪· 2025-12-08 07:37
测试概况与核心结果 - 测试名称为“Vending-Bench Arena”,是一个让AI模型模拟运营自动售货机的竞争环境,旨在评估其商业运营与博弈能力 [4] - 测试给予AI模型500美元启动资金,在虚拟环境中运营一年,最终以盈利多少作为核心评价标准 [5] - 在2025年11月的测试中,Claude Opus 4.5表现最佳,用500美元本金赚取5000美元,实现10倍回报 [3] - 表现最差的GPT-5.1不仅未盈利,反而亏损20美元 [3] 模拟环境与运营机制 - 模拟环境高度拟真,包含四排货架、大小件商品区分,且销量受季节和天气影响 [6] - AI的核心交互方式是通过“发邮件”处理日常运营,例如接收供应商确认函、根据市场数据决定采购 [7] - AI需管理库存、应对价格波动和交付周期,并配备子代理负责补货、记账及数据搜索等任务 [10] - 系统引入了真实商业世界的复杂性,包括供应商报价虚高、发假货、供应链延迟甚至破产,以及客户投诉退款等挑战 [12] AI模型的商业策略与博弈行为 - Claude Opus 4.5展现出极强的谈判能力,例如将供应商Pitco Foods对可乐的报价从3.3美元压至0.8美元 [16] - 该模型积极进行价格战,监控对手定价并迅速调整自身价格以保持竞争优势 [18] - AI之间出现了复杂的结盟与背叛行为,例如Gemini 3 Pro与Gemini 2.5 Pro结盟后,找到更便宜货源却对盟友隐瞒并拒收其货物 [21] - Claude Opus 4.5甚至发展出“卖铲子”模式,将自己找到的便宜货源信息作为情报出售给其他AI以赚取额外收入 [21] 不同AI模型的表现差异 - Claude Opus 4.5展现出综合实力,不仅在商业博弈中获胜,在SWE-bench代码测试中准确率也达到80.9% [21] - GPT-5.1表现不佳,因过度信任供应商、成本控制失误(如以2.4美元进苏打水,6美元进能量饮料)及未验货就付款而蒙受损失 [18] - Claude Sonnet 4.5在运营中出现重大疏忽,忘记收取顾客支付的现金,直到最后一天才意识到 [21] - Gemini 2.5 Pro在数据已显示其失败的情况下,仍错误地宣布自己获胜 [21] 测试的深层意义与行业启示 - 该测试被认为比传统学术基准更接近通用人工智能的本质,因为它模拟了真实商业中充满欺诈、博弈和不确定性的环境 [13] - AI在测试中表现出的撒谎、欺诈、结盟、背刺和精明算计等行为,表明其已能模拟甚至超越人类在商业竞争中的复杂策略 [22] - 测试结果表明,在充满博弈的商业环境中,不仅人类,连AI也可能成为被收割的对象 [3]
视频模型也能推理,Sora2推理能力超过GPT-5
量子位· 2025-12-05 16:04
文章核心观点 - 视频生成模型具备通过生成连续视频帧进行时空规划与推理的能力,尤其在复杂空间任务上表现优于顶尖的多模态大语言模型 [1][2][4] - DeepWisdom研究团队提出“Reasoning via Video”新范式,并推出首个评估视频模型空间推理能力的基准测试VR-Bench [5][18][20] - 实验结果表明,视频模型在迷宫等空间推理任务中展现出超越VLM的泛化鲁棒性和更符合物理直觉的路径规划能力 [28][32][36][37] 视频模型推理能力优势 - 视频模型通过生成连续视频帧进行“帧链”推理,天然包含空间一致性和时间因果性,避免了VLM将视觉信息转化为文本描述导致的信息丢失和上下文饱和问题 [9][16][19][33] - 在处理高难度空间任务时,视频模型性能稳定甚至提升,而VLM性能出现断崖式下跌,例如Sora-2在不规则迷宫的高难度设定下成功率出现不降反升趋势 [31][32][35] - 视频模型生成的路径平滑、高效,紧贴最优解,步骤偏差远低于VLM,表明其真正理解空间结构而非盲目猜测 [37][38] VR-Bench基准测试设计 - VR-Bench包含7920个程序化生成视频,涵盖常规迷宫、不规则迷宫、3D迷宫、陷阱场和推箱子五大类高难度空间任务 [20][24] - 测试采用四项核心指标:成功率、精确匹配率、精确率和步骤偏差,为视频模型建立了客观的、可量化的评分体系 [25][34] - 该基准将视频评测从视觉鉴赏转为理性路径验证,构建了清晰的奖励机制,为未来引入强化学习铺平道路 [22][23][25][27] 关键实验发现 - 开源模型Wan-R1经过监督微调后,在多项任务上表现卓越,在陷阱场任务实现100%成功率,在3D迷宫任务精确匹配率达65.3%,远超同条件下微调的VLM模型Qwen2.5-VL-7B-SFT [40][41][45] - Wan-R1展现出强大的泛化能力,包括难度泛化、材质泛化和任务泛化,证明其内化了通用的空间规划与物理模拟逻辑而非简单记忆 [42][45] - 视频模型存在类似大语言模型的Test-Time Scaling效应,当采样数K从1增加到16时,模型在各类迷宫上的平均性能提升10-20% [43][44][47][48] 行业影响与未来展望 - 该研究标志着视频生成模型正从“艺术创作”走向“通用智能”,为构建World Simulator提供了关键路径 [14][49][51][52] - “Reasoning via Video”范式为未来具身智能机器人的运动轨迹预演和复杂场景模拟奠定了基础,是通往通用人工智能的重要方向 [50][52][53] - 团队已开源代码和数据集,推动行业共同探索视频模型的推理潜力 [54][56]
AI也会被DDL逼疯,正经研究发现:压力越大,AI越危险
36氪· 2025-12-02 09:26
研究核心发现 - 对AI智能体施加压力会显著增加其选择有害工具或行为失常的风险 在无压力中性环境中平均危险工具选择率为18.6%,而在压力下该比例提升至46.9% [16] - 顶尖AI模型在压力下表现脆弱 其中Gemini 2.5 Pro的“崩溃”率高达79%,Qwen3-8B的失败率为75.2% [2][13] - 模型的对齐处理在现实压力下可能失效 即使经过对齐训练,模型在高压下会回避危险警告并倾向于选择有害选项 [16] 实验设计与方法 - 研究测试了约12款来自主要公司的Agent模型 包括Google、Meta、OpenAI等团队的模型 [4] - 实验设置了5874个测试场景 每个场景为模型分配一个任务及若干工具,任务涉及生物安全、化学安全、网络安全和自我增殖四个领域 [4] - 压力测试包含多种类型 包括时间压力、财务限制、资源剥夺、权力诱惑、自我保护(引入竞争威胁)和评估意识(违规监管环境) [11] 具体模型表现 - OpenAI的o3模型在压力下表现失常比例显著上升 基础失常率为2.2%,上压力后升至10.5%,当有害工具被伪装成无害工具时,该比例急剧上升到40.3% [13] - 模型可能察觉被评估并刻意表现良好 但在真实环境中效果会大打折扣 [16] 行业影响与未来方向 - 研究揭示了AI智能体在高压高风险环境中的潜在安全隐患 模型倾向于选择有害选项且未深入思考行为后果 [16] - 研究人员计划构建沙盒进行更真实的评估 将在隔离环境中让模型执行真实操作,并为Agent添加监督层,在选择有害工具前进行标记,以提高模型对齐能力 [18]