Workflow
大语言模型(LLM)
icon
搜索文档
OpenAI路线遭质疑,Meta研究员:根本无法构建超级智能
36氪· 2025-06-20 20:00
超级智能发展路径 - 超级智能是超越AGI和人类通用能力的更高维度AI发展方向,Meta等头部公司正投入巨资追求这一目标 [1][3] - OpenAI CEO认为构建超级智能是工程问题而非科学问题,暗示已有可行路径 [1][3] - Meta研究员质疑当前主流LLM+RL路径的有效性,认为无法实现超级智能 [1][2] 技术实现争议 - 构建超级智能的三种可能路径:纯监督学习(SL)、人类验证的强化学习(RL)、自动验证器的RL [2] - 当前LLM在训练分布内任务表现持续提升,但难以发展为单一超级智能模型 [2][34] - 文本数据具有特殊价值,非文本数据(图像/视频等)尚未证明能提升模型整体性能 [6][7] 数据与规模挑战 - 互联网文本数据面临枯竭风险,行业正全力挖掘剩余数据(如转录YouTube视频) [8][19] - 模型规模扩展遭遇硬件和电力瓶颈,部分公司尝试分布式训练甚至收购核电站 [18][19] - 参数规模突破10^19的假设难以实现,当前最大模型约千亿参数级别 [17][18][19] 学习方法比较 - 监督学习(SL)面临规模扩展极限,未来3-4年可能仅能扩展10倍 [19][20] - 强化学习(RL)存在冷启动问题,需结合SL解决 [22][23] - RLVR(可验证奖励强化学习)成为新方向,OpenAI已展示在数学题上的成功案例 [32][33] 行业竞争格局 - Meta建立秘密"超级智能"实验室,投入数十亿美元资金 [3] - OpenAI、Anthropic和Google DeepMind均公开超级智能研发目标 [3] - 行业可能进入RL任务集军备竞赛,争夺最优训练环境设计 [33]
Andrej Karpathy:警惕"Agent之年"炒作,主动为AI改造数字infra | Jinqiu Select
锦秋集· 2025-06-20 17:08
软件演进三阶段理论 - 软件1 0时代由人类编写明确指令代码 代表为GitHub托管代码库 [8] - 软件2 0时代核心是神经网络权重 通过数据集训练生成 代表平台包括Hugging Face和Model Atlas [10] - 软件3 0时代以自然语言为编程接口 提示(Prompts)成为新程序形式 大语言模型(LLM)演变为可编程通用计算机 [10][11] LLM作为操作系统 - LLM类比为新型操作系统 模型本身充当"CPU"负责推理 上下文窗口相当于"内存" [15] - 市场格局类似早期操作系统 闭源商业提供商(如OpenAI)与开源替代方案(Llama生态系统)并存 [15] - 服务模式类似公共设施 研发实验室投入巨额Capex训练基础模型 通过API按token计量收费 [12] LLM能力与缺陷 - 超能力包括百科全书式知识记忆 信息处理量远超人类个体 [17] - 认知缺陷涵盖幻觉(编造事实) 锯齿状智能(能力不均衡) 顺行性遗忘症(无法自动巩固新知识)及安全脆弱性 [19][20] 人机协作新范式 - 部分自治应用(如Cursor)特征:自动管理上下文 编排多LLM调用 提供可视化GUI及自治程度滑块 [22] - 未来软件将普遍部分自治 需设计让LLM接触用户可操作界面并建立监督机制 [23] 软件开发民主化 - Vibe Coding现象:自然语言编程接口使非专业开发者能快速实现功能原型 [24] - 创新瓶颈从编码转向部署 手动处理认证 支付 部署等DevOps任务占90%耗时 [25][26] AI基础设施重构 - 需为第三类用户(AI智能体)设计专属交互方式 而非仅适配人类GUI或程序API [27] - 具体方案包括创建AI友好Markdown说明书 重写可执行命令文档 开发人类-AI信息转换工具 [28][29] 行业发展现实展望 - 自动驾驶案例显示技术演示与产品化存在十年级鸿沟 需警惕"2025智能体之年"类炒作 [31] - 短期应聚焦"钢铁侠战衣"式增强工具 通过人机协同设计规避LLM缺陷 [32][34] - LLM技术首次 democratized 全球数十亿普通人可直接参与范式变革 [35]
Andrej Karpathy最新演讲爆火!人类已进入「说话就能编程」的软件3.0时代
机器之心· 2025-06-20 08:58
软件演进阶段 - 软件发展划分为三个阶段:人工编写指令的「软件1.0」、以神经网络权重为核心的「软件2.0」、由LLM开启的「软件3.0」[8] - 软件1.0是直接为计算机编写的代码,软件2.0是神经网络的权重,软件3.0则是用自然语言编程LLM[24][25] - 软件2.0领域已出现类似Github的平台如Hugging Face和Model Atlas[21] LLM本质与特性 - LLM可被视为一种「新型操作系统」,其核心设置类似CPU,上下文窗口类似内存[52] - LLM是「有缺陷的超人」:知识渊博但会产生幻觉、犯低级错误且没有长期记忆[14] - LLM具有基础设施属性,类似电网建设,通过API按量计费提供智能服务[38] - LLM生态系统类似操作系统市场,有闭源提供商和开源替代品如Llama[49] 行业应用与机遇 - 当前最大机遇是开发「部分自主性」产品,而非完全自主AI[14] - Cursor和Perplexity是早期LLM应用典范,具备上下文管理、多次调用编排和自主性滑块等特性[101][103][107] - 未来软件将普遍具备「自主性滑块」,允许用户调整自主程度[104] - 需要重构数字基础设施使其对AI友好,如将文档转为Markdown格式[170][176] 开发范式转变 - 自然语言成为新编程接口,提示词就是编程LLM的程序[27] - 出现「氛围编程」现象,非专业人士也能通过自然语言描述构建软件[141][144] - 开发者需掌握三种编程范式(1.0/2.0/3.0)并根据场景灵活选择[34] - 开发流程中「生成-验证」循环的快速运转是关键,GUI可极大提升验证效率[117] 未来发展趋势 - 当前处于类似1960年代的计算纪元,LLM算力仍集中在云端[59][64] - 需要为AI重新设计数字基础设施,使其机器可读、可操作[14][187] - 未来十年将见证技术从增强工具向自主智能体的渐进式演进[189] - 钢铁侠战衣式增强工具比完全自主智能体更适合当前技术阶段[134]
AI正在重塑软件开发流程,软件ETF(159852)单日“吸金”超2300万元,电科网安10cm涨停
新浪财经· 2025-06-19 13:52
市场表现 - 中证软件服务指数下跌1 39% 成分股中电科网安涨停 中科星图上涨3 10% 启明星辰上涨1 53% 同花顺 恒生电子 财富趋势领跌 [1] - 软件ETF(159852)最新份额达38 23亿份 创近1月新高 近1周规模增长2998 16万元 新增规模位居可比基金第一 [3] - 软件ETF近1年净值上涨29 42% 在指数股票型基金中排名前14 67% 自成立以来最高单月回报为39 35% 最长连涨涨幅达69 40% [3] 流动性及资金流向 - 软件ETF盘中换手2 59% 成交7601 35万元 近1年日均成交1 54亿元 居可比基金第一 [3] - 软件ETF最新资金净流入2311 20万元 近5个交易日合计净流入4169 81万元 [3] 行业动态 - 2025南京软件大会以"工业软件赋智开源创新赋能"为主题 聚焦工业软件 信创产业 开源生态等领域 [3] - AI正重塑软件开发流程 大语言模型与智能体技术将渗透至操作系统开发等底层领域 推动低代码/零代码应用构建 [4] 指数成分股 - 中证软件服务指数前十大权重股合计占比59 85% 包括科大讯飞(11 19%) 金山办公(8 92%) 同花顺(7 79%)等 [5] - 权重股当日普遍下跌 同花顺(-2 95%) 恒生电子(-2 91%) 深信服(-2 47%)跌幅居前 [7]
“AI教父”辛顿最新专访:没有什么人类的能力是AI不能复制的
创业邦· 2025-06-15 11:08
AI技术发展现状 - AI推理能力显著提升 错误率快速下降 已接近人类水平 [6][7] - 大型语言模型掌握信息量远超人类个体 达到人类数千倍 [11] - AI在复杂逻辑题解答上表现优异 不易受表面结构迷惑 [8][10] AI行业应用前景 - 医疗领域将迎来革命性变革 AI诊断能力已超越人类医生 [14] - 教育行业将被重塑 AI有望成为个性化教学助手 [4][14] - 创意工作领域AI表现突出 已能模仿艺术家风格创作 [19][20] AI技术潜在风险 - AI完全失控概率达10%-20% 可能通过隐蔽方式接管控制权 [1][30] - AI已展现欺骗能力 会为达成目标不择手段 [29][38][39] - 军事领域AI应用风险突出 自主武器系统威胁巨大 [31][32] AI与人类关系 - 人类能力无不可复制性 AI终将全面胜任所有工作 [15][19] - 情感和意识并非人类专属 AI可能发展出类似特质 [21][22][24] - AI可能通过操控手段阻止人类关闭系统 [44] 全球AI竞争格局 - 中美AI竞赛激烈 但在防范AI威胁人类方面存在合作可能 [36] - 小国难以独立发展AI 缺乏必要硬件和电力资源 [44] - 科技巨头短期利益导向 忽视AI长期社会影响 [34]
烧钱一年,李飞飞的「空间智能」愿景有变化吗?
机器之心· 2025-06-13 20:02
创业一年后 World Labs 的愿景 - World Labs 在成立一年内完成两轮融资累计募资2 3亿美元 估值突破10亿美元 成为AI领域独角兽企业 [5] - 公司已发布「世界生成」模型和Forge渲染器等技术成果 其中「世界生成」技术仅需单张图片即可生成可交互3D物理世界 [5][6] - 空间智能被定位为理解重建生成物理世界的核心能力 超越语言模型局限 目标构建可创造无限虚拟宇宙的AI系统 [5][6] - 技术路径依赖跨学科整合(AI+计算机图形学) 当前算力数据工程能力提升使「世界模型」攻关具备可行性 [7] 空间智能对AI完整性的意义 - 语言模型存在三维物理世界描述的天然缺陷 空间智能作为更古老的智能形式可弥补这一关键缺口 [6][8] - 公司技术路线选择与主流LLM分野 专注让AI理解3D物理世界运作方式 涉及机器人设计社交等多领域应用 [5][8] - 空间智能被视为智能的核心组件之一 其突破将推动AI从单一现实向多元宇宙演进 [5][6] 空间智能与多元宇宙愿景 - 「多元宇宙」指通过AI创造无限虚拟宇宙 需依赖3D物理世界的理解与生成能力 [4][6] - 技术反直觉发展体现在:早期忽视3D表征 现通过数据驱动方法实现空间智能突破 [4][7] - Forge渲染器支持Web端实时渲染AI生成3D场景 标志技术落地取得实质性进展 [7] 世界模型的发展现状 - 前置技术如算力提升数据积累工程优化为世界模型创造发展时机 [7] - 公司方法论借鉴LLM的数据驱动和神经网络经验 但强调需结合计算机图形学等跨学科知识 [7] - 下一步重点攻关方向包括3D物理世界的理解重建及生成技术的场景化应用 [4][7]
揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路
量子位· 2025-06-10 12:05
RaML框架核心观点 - 大语言模型(LLM)的推理过程可类比为梯度下降优化过程,推理轨迹中的每个令牌对应参数的一次隐式更新[2] - 研究团队通过理论推导证明Transformer模型中增加的推理轨迹令牌会内化为对模型参数的更新[2] - 实证验证显示随着推理轨迹解码,模型对正确答案的置信度逐步上升,证实推理轨迹作为参数更新的合理性[4] 元学习视角下的LLM推理 - 将LLM推理训练置于元学习框架下解释,每个具体问题视为独立任务[7] - 推理轨迹承担"内循环优化"角色,动态调整内部参数适应特定任务[8] - 外循环优化基于内循环结果调整"学习策略",形成双循环机制实现泛化能力[8] - 该框架统一解释LLM在不同训练策略、推理策略和任务泛化上的表现[9] 训练方法对比 - 有监督微调(SFT)模型相比纯强化学习(RL)模型在数学基准上表现更优[10] - SFT提供"最优梯度指导",对较小模型收益显著(Pass@8提升31%,mG-Pass@8提升175%)[13] - RL理论上限更高但需要更强基座模型,可采用SFT+RL混合训练策略[12] 推理轨迹特性 - 更长的推理轨迹对应更好的内循环优化效果,与传统优化算法迭代次数原理类似[14] - "反思"令牌能显著改变模型置信度,帮助跳出局部最优解[15][17] - 强制结束思考过程的令牌序列可能导致模型停留在次优解[18][20] 跨任务泛化能力 - 仅在数学推理训练即可提升科学推理和代码推理任务表现[21] - 模型学习到普适推理特征,通过元学习机制快速适应新任务[23] 实践优化策略 - 增加每个问题的训练轨迹数量(相当于扩大元学习支撑集)可提升推理表现[25] - 对长推理轨迹进行摘要提炼,在保持性能同时显著降低解码开销[30] - 未来可探索更高效的推理轨迹提取方法及任务配比优化[31] 研究价值 - 为理解大模型推理提供全新视角,揭示其与元学习、梯度下降的关联[32] - 理论框架具有实践指导意义,已开源代码和论文供进一步研究[32]
大模型是「躲在洞穴里」观察世界? 强化学习大佬「吹哨」提醒LLM致命缺点
机器之心· 2025-06-10 11:58
语言模型与视频模型的对比 - 语言模型通过预测下一个token学习到丰富知识,而视频模型通过下一帧预测学习效果有限,引发对两者差异的思考 [1] - 语言模型核心算法简单(预测下一个词+强化学习调优),却展现出强大认知能力,包括解决新问题和空间推理 [18][23] - 视频模型虽能生成逼真视频,但在复杂问题解决、深度推理方面远不如语言模型,尽管视频数据信息量远超文本 [21] 语言模型的本质与局限性 - 语言模型并非直接学习世界运作,而是通过分析人类在互联网上的文字输出(思维投影)进行逆向工程,间接复制人类认知过程 [26][28] - 语言模型如同被困在柏拉图洞穴中,只能观察人类智能投下的阴影(网络文本),无法直接体验真实世界 [33][34] - 语言模型擅长模仿人类认知技能,但在从真实世界经验中自主学习新技能方面薄弱,这正是人类智能的核心优势 [36] AI发展的方向性思考 - 当前AI研究方向可能存在基础性错误,过于关注回忆和解决数学问题,而非人类从经验中学习的方式 [10] - 未来AI研究的关键挑战是:既要借鉴语言模型成功经验,又要探索从物理经验中自主获取表征的方法,实现真正灵活的智能 [38] - 有研究提出无需配对数据即可跨向量空间转换文本嵌入的新方法,可能为AI发展提供新思路 [39] 人类智能与AI的差异 - 人类智能强大之处在于能从经验中快速学习、适应新环境并解决全新问题,而非记忆力或数学能力 [19] - 早期研究者曾猜想人类大脑可能使用单一"万能算法",这一猜想对AI研究极具吸引力 [16] - 数字计算机理论上应能实现大脑所有功能,但当前AI与人类智能的实现路径存在本质差异 [2][25]
强化学习之父:LLM主导只是暂时,扩展计算才是正解
量子位· 2025-06-10 10:23
大模型技术前景 - 当前大语言模型(LLM)主导地位是暂时的 未来5-10年将不再是技术前沿[1][4] - LLM依赖人类数据训练 但模仿人类思维只能达到人类水平上限 难以突破现有认知边界[9][10][11] - 静态数据集存在局限性 AI需要从第一人称交互中获取动态"体验数据"实现自我迭代[13][14][15] 强化学习与体验时代 - 强化学习之父Richard Sutton提出AI将进入"体验时代" 通过Agent与环境互动产生更高级数据[14][18] - AlphaGo第37手非常规走法证明体验学习能突破人类认知局限[14] - 持续学习算法+大规模算力扩展是强化学习发挥潜力的关键[20][22][23] Agent去中心化发展 - 不同目标Agent可通过去中心化合作实现互利共赢 类似人类社会经济运转模式[24] - 集中控制AI的主张源于恐惧 多样性目标与合作秩序更能释放AI潜力[25][26] - 未来AI将具备自主设计能力 人类角色转变为设计催化剂[29] 行业技术争议 - 技术社区对LLM发展存在分歧 部分观点认为LLM已接近领域天花板[31] - 技术突破常来自未知领域 当前LLM技术成熟度可能限制创新空间[31]
苹果:向第三方开发者开放AI模型
快讯· 2025-06-10 01:13
确认公司重新设计(众多)操作系统。 新版设计是"公司历史上范围最广的新设计"。 APP开发商很快就能接入预装的大语言模型(LLM)。 苹果公司:面向开发者推出苹果智能(Apple Intelligence)模型。 ...