置信度
搜索文档
人生,就是活在两个悬崖之间
虎嗅· 2025-09-24 08:01
丘吉尔的这句话令人触动。 故事3:有位被大家评价为超级聪明的朋友,说自己处在人生的低谷——"左右为难"。他一直认为自己 有较高的"人生均值",以至于因为傲慢而忽略了"人生波动"。幸运儿和聪明人,总是以为自己可以 被"不确定性"赦免,可事实并非如此, 本文的主题,与上面的三个故事紧密相关。 "在你的两边都有一个悬崖:一个是谨慎的悬崖,一个是过度大胆的悬崖。" 给我的启发是: 先分享三个真实的故事: 故事1:投资人李国飞只选有95%确定性的好公司。有次吃饭,我问他对年化回报率的要求,他说"没 有"。他只看未来五年到十年有数倍的涨幅可能性,但具体是多少,以及哪一年发生,自己"并不知 道"。 故事2:最近接触到一位年轻人,对投资充满了激情,也在当前短暂的牛市中获得了自信。他的话语体 系里都是"板块轮动、捕捉热点、最佳买点、追随故事......"简而言之,仿佛一切都可以预测,每个牛股 都能论天来择时捕获。 我们的人生并不是找到一个完美的、牢不可破的"点",而是要找到一个"区间"。 一个人生区间,可以由两个关键参数定义:中点c和半径r。 1、中点c代表了你的人生策略的"均值"或"核心"。 是偏向安稳,还是偏向冒险? 一 ...
OpenAI的新论文,为什么被业内嘲讽是营销?
虎嗅· 2025-09-12 17:16
文章核心观点 - OpenAI发布论文指出大模型幻觉的主要根源并非模型架构问题,而是当前技术社区的评估机制倾向于奖励猜测并惩罚承认不确定的行为,迫使模型在不确定时也进行猜测[1][3] - 论文主张改变主流评估基准,应对高自信错误施以惩罚并为恰当的不确定表达给出分数,使激励从“大胆猜”转向“知之为知之”[3][4] - 该研究将“幻觉”从工程缺陷转化为技术社区的“激励设计”问题,若发展方向改变,未来关注点将从准确率小幅上涨转向模型在不确定时自然说“我不知道”[4][5] - 技术社区对论文存在争议,有观点认为其内容不新颖、水平不高,更像是一场营销而非研究[6][7][8] - 幻觉的本质可能源于机器学习中模型拟合度与泛化性的内在权衡,任何在训练数据外进行泛化的模型要么产生幻觉,要么遭遇模式崩溃[14][15] - 低幻觉大模型可能演变为高效串联已知事实的自然语言搜索引擎,这对AI Agent和企业AI落地是利好,但对其泛化能力存疑[17][20][22] - OpenAI的倡议具备号召力,其背后可能旨在强调GPT-5等模型在AI Agent和企业应用领域的优势,并推动自身应用业务发展[33][35][36] 大模型幻觉的根源与OpenAI的解释 - 大模型出现幻觉的主要原因是训练与评测机制奖励猜测并惩罚承认不确定的行为,迫使模型在高度不确定时倾向猜测性作答以博取准确率分数[1] - 在预训练层面,大模型通常只接触正面示例,即给定提示词后输出完整回答,未接触拒绝回答的示例,因此学不会拒绝回答的行为[2] - OpenAI以自家模型为例,在SimpleQA基准中,旧模型o4-mini准确率22%,新模型GPT-5-thinking-mini准确率24%,但旧模型错误率75%远高于新模型的26%,因其更少“弃答”[3] 技术社区对论文的争议与批评 - 有观点认为该论文既不新颖水平也不高,相关研究早已出现,且论文技术水平像初级研究人员所写[7] - 纽约大学数据中心助理教授Ravid Shwartz Ziv直言论文更像是一场营销而不是研究[8] - 批评指出幻觉概念至今未被严格定义,现有研究多是对幻觉的分类,如模型过度自信、解码随机性等[10] 幻觉的本质与机器学习视角 - 幻觉本质可用曲线拟合类比,不同模型具备不同拟合度和泛化性,任何模型生成的不同于训练数据的新数据都可能是幻觉[14] - 机器学习或大语言模型不擅长分布外泛化,其泛化能力更多是在已有观测点范围内估计未知值[15] - 理论研究指出模型在训练数据外泛化时,会产生幻觉或遭遇模式崩溃,这是一致性和广度之间的内在权衡[15] 低幻觉模型的影响与潜在形态 - 若保证训练数据和测试数据分布大致相同且模型过拟合,能保证很低错误率或幻觉率,低幻觉大模型可能演变为高效串联已知事实的自然语言搜索引擎[16][17] - 这种模型对拼写、标点等细节响应灵活,对多次引用的事实基本准确,但对单次出现的事实可能出错并选择拒绝回答,这对AI Agent和企业AI落地是利好底座[20] - 企业数据通常领域独立、长尾、稀疏,训练出的大模型潜在幻觉点多,增加拒答率可帮助企业优化模型[21] 幻觉检测与置信度方法 - 当前没有很好的自动化检测幻觉方法,复杂检测方法效果甚至与分析响应长度方法相当[24] - 简单方法让LLM生成多个独立答案比较一致性,但计算成本高昂,后续研究利用答案间重复部分缓存节省成本[25][26] - 高效方法是在推理过程中计算模型内部置信度信号,动态过滤低质量推理路径,如论文方法在AIME 2025达到99.9%的“@512准确率”,生成文本长度减少84.7%[26] - 置信度可定义为生成下一个token时候选词概率分布越不均匀、越集中在少量词则置信度越大,也可直接让模型输出不确定性词语表达置信度[28][30] OpenAI的倡议与潜在战略意图 - 论文创新之处不在方法,而像是面向技术社区的倡议,若社区认同,大模型将向不鼓励猜测答案方向发展[31] - OpenAI指出惩罚不确定答案的“流行病”只能通过社会技术缓解措施解决,作为大模型时代奠基者具备号召力[32][33] - 结合GPT-5低幻觉招牌、低幻觉对AI Agent和企业AI的重要性,以及公司近期收购io Products、成立“应用”板块等举措,推测OpenAI希望社区认可GPT-5成就并强调其在企业应用优势[34][35] - 公司自身也要认真发展应用业务[36]