情绪价值函数
搜索文档
Scaling已死吓坏硅谷,Ilya紧急辟谣
36氪· 2025-12-01 10:55
AI技术范式转变 - AI行业正从单纯依赖规模扩展(Scaling Law)的技术范式转向需要研究突破的新阶段,扩展虽能持续进步但已无法单独实现能力质的飞跃[1][4] - 顶尖研究人员共识认为当前技术已足以对社会经济产生巨大冲击,但实现AGI仍需在持续学习、样本效率等关键领域取得研究突破[7] - 实现AGI/ASI的时间框架存在分歧,专家预测从2年到20年不等,但普遍认为并非遥不可及[8] 技术发展方向 - 人类与AI的关键差异可能在于内置价值函数,情绪作为决策系统组成部分可能为AI提供重要借鉴[11][12] - 当前AI价值函数系统较为脆弱粗糙,未来需要新架构新想法来构建真正可行的系统[14] - 行业领导者认为创新是AGI道路上的核心动力,需要持续探索新架构新方式[14] 行业投资与经济影响 - 主要科技公司2025年资本支出总额预计达约3700亿美元,2026年将继续增长[16] - AI基础设施投资已成为美国经济增长关键驱动力,2025年上半年几乎贡献全部GDP增长[16] - 当前AI投资被视为建设未来数字基础设施,类似工业时代的铁路网建设[17] 市场观点分歧 - 乐观派认为AI投资是计算方式根本转型,只要持续产出可付费智能就不存在泡沫[19][20] - 谨慎派承认存在产业泡沫但认为类似互联网泡沫会留下有价值的基础设施[17] - 行业领袖强调AI创造的新需求可能超过替代效应,推动公司扩张和就业增长[28] 劳动力市场影响 - 研究显示AI目前已具备取代美国11.7%劳动力的能力,白领工作岗位面临显著冲击[22] - 预测未来5年内50%入门级白领工作可能消失,物理世界操作类工作相对安全[24][26] - 替代效应可能推动工作模式变革,可能出现更短工作周等新职场形态[28]
Ilya重磅发声:Scaling时代终结,自曝不再感受AGI
36氪· 2025-11-26 14:54
当前AI技术路线评估 - 当前模型持续改进但无法实现AGI,现有技术路线后劲不足[3] - 真正可行的AGI系统架构至今尚未掌握构建方法[3] - 模型泛化能力远逊于人类,即使使用所有编程竞赛题目训练仍无法形成真正的解题直觉[3] - 评测结果与现实应用出现明显脱节,评估分数光鲜但实际性能滞后[5][8] - RL训练最终演变为对评估指标的过度优化,真正的奖励机制黑客是设计基准测试的科研人员[3][6] Scaling Law与预训练瓶颈 - 预训练时代已终结,行业正从Scaling时代走向研究时代[1][13][14] - 预训练最大突破是Scaling配方好用,但数据有限总有用光之时[12] - Scaling把行业创新空气吸干,导致公司数量远远多于点子数量[15] - 未来创新将回归小而美实验,类似AlexNet用两张GPU、Transformer用8-64块GPU的模式[16][18] - 已见证从预训练Scaling切换到RL Scaling,但RL非常烧算力且效率低[15] 模型泛化能力与学习机制 - 人类学习能力来自自进化硬编码的价值函数,情绪是决策系统一部分而非噪音[10] - 当前AI的价值函数训练方式脆弱粗糙,还不是内置的[11] - 预训练优势在于数据量大且无需刻意挑选,具有天然高度真实性[8] - RL训练让模型目标变得单一狭隘,削弱全局感知能力[5] - 模型在基础任务上表现不佳,如在修复bug时会反复犯同样错误[5] AGI/ASI发展路径与影响 - ASI可能在5-20年内降临,实现人类级别学习能力后变得超越人类[3][51] - 超级智能不是完成形态心智,而是能够学会做每一项工作的心智[29][30] - 部署将包含通过试错学习时期,是过程而非直接投放最终成品[29] - 一旦实现这种学习算法,可能会迎来一波快速的经济增长[32] - AGI与AI的本质区别在于力量,当力量很大时会发生难以想象的事情[38][40] 行业趋势与安全考量 - 随着AI变得更强大,政府和公众会产生做点什么的愿望,公司将更加充满危机感[43][44] - 竞争激烈的公司开始在AI安全方面合作,OpenAI和Anthropic已迈出第一步[44] - 构建稳健对齐、专门关爱有感知生命的AI比仅关爱人类生命的AI更容易[48][49] - 渐进主义将是任何AGI计划与生俱来的组成部分,逐步发布可分散冲击力[19]