文章核心观点 - 文章以Ilya Sutskever的生物视角为线索，梳理进化史上五次底层智能突破与AI技术突破的对应关系，指出生物进化与AI发展路线恰好相反，大模型从最二手的经验出发，正逐步往回补课以获取一手经验 [2][8][38] - 进化始终在奖励两个方向：更高效地发现新的适应方式（对应intelligence/RSI）和更大范围的结盟与合作（对应alignment），这与当前frontier labs提升intelligence和alignment两条主线几乎一一对应 [4][5][6] - 下一代范式探索者（SSI、Core Automation、Oak Lab）普遍认为补齐某种形式的value function是解决终极持续学习的关键组件，Ilya据称正在重点研究inner value model [43][44] - 人类社会几万年的合作史表明，alignment无法在白板上设计出来，只能在真实部署中不断试错和修补，价值观是流动的概念，AI或许不该对齐某个价值观checkpoint，而应对齐一套改进价值观的方法 [66][71][72] 生物智能的五次突破与AI的对应 - 第一次突破Steering（转向）：约6亿年前两侧对称动物出现后，生物需要中央决策系统汇总矛盾信号，催生了最原始的value function即affect（情感状态），将食物、威胁、温度等异质信号投射到同一低维空间进行比较 [11][12][14][15] - 情感状态有两个基础维度：效价（局面好坏）和唤醒度（身体激活水平），组合后得到四类基本状态，对线虫而言可回答留下还是离开、值得花费多少能量两个问题 [16][18] - 情感状态在刺激消失后仍持续很长时间，相当于一种记忆机制，告诉生物环境有害或有益，即使信号暂时消失也要继续执行此前策略 [18][19] - 第二次突破Reinforcing（强化学习）：约5亿年前寒武纪第一批脊椎动物（最早的鱼）出现，需要解决时间上的credit assignment问题，即奖励来得很晚时判断哪个动作起了作用 [20][21] - AI领域解法是Richard Sutton在八十年代提出的时序差分学习（TD learning），将决策拆成Actor（选择行动）和Critic（估计回报）两个系统，学习可以来自预期的变化而非只等最终结果 [22][23] - 神经科学家在大脑中发现几乎一模一样的机制：基底神经节类似Actor，多巴胺类似Critic，多巴胺编码的是reward prediction error，与TD learning中的预测误差几乎完全对应 [24] - 进化催生了好奇心作为第二套reward机制，多巴胺负责exploit，好奇心负责explore，二者维持张力让生物找到最优行动路线 [25][26] - 第三次突破Simulating（模拟）：约2亿年前早期哺乳动物出现，温血高能耗使犯错代价大，新皮质作为生成模型先generate再compare再update，把试错从体外搬进脑内 [27][28] - 老鼠走到迷宫岔路口时大脑会快速依次点亮两条可能路线，错过好选项后会回头张望，大脑重新浮现被放弃的选择，学会后悔，后悔本身是一种学习信号 [30] - 从AI角度看，这就是world model、RL和planning的生物版本，用便宜、安全、可并行的想象替代昂贵的真实交互 [30] - 第四次突破Mentalizing（心智建模）：6600万年前小行星终结恐龙时代后灵长类繁衍，社会脑假说认为推动灵长类变聪明的主要是彼此，新皮质相对大小与群体规模高度相关 [31] - 灵长类需要建立别人脑中的世界模型，黑猩猩会根据其他个体看见过什么来藏匿食物，能区分我知道什么和对方知道什么 [31] - 这带来两个新能力：向别人学习（自己运动系统在内部模拟他人动作）和为未来的自己做计划（黑猩猩会挑工具留到第二天用） [33] - 神经科学家Hal Hershfield发现人想象十年后的自己时大脑活动模式更像在想一个陌生人，为未来做计划本质上是心智建模的附加作用 [33] - 第五次突破Language（语言）：语言把彼此独立的大脑连接成更紧密的学习系统，一个人脑中的world model可被编码成语言在另一个人脑中展开 [34] - 横向上合作规模急剧扩大，神话、宗教、货币、国家、公司制相继诞生；纵向上checkpoint代代相传，个体学到的一切不再随个体死去 [34] - 语言是碳基生物RSI的起点，系统不仅能积累改进还能改进产生改进的方法，智能迭代速度开始指数级加快 [34] - 五次突破贯穿的主线是经验的虚拟化，一个生物越来越能够利用自己没有亲身经历过的经验 [37] 大模型与生物进化的相反路线 - 大模型走的路线几乎相反：先用整个人类文明留下的文字训练出系统，让它一出生就能谈论爱情、代码和量子力学，然后才一层层往回补课 [38] - 对应关系为：预训练对应语言（从别人想象过的动作和世界中学习），SFT对应心智建模（从人类真正示范过的动作中学习），思维链对应模拟（在想象中推演），RL对应强化学习（从自己真正做过的选择中学习） [39][40] - 多模态、工具调用和agentic能力让模型开始感知真实环境并在其中行动，如编程Agent根据报错和测试结果调整解法、教学Agent连续几个月跟踪学生、科学Agent自己提出假设安排实验 [40][41] - David Silver和Richard Sutton把AI下一阶段称作The Era of Experience，AI能力增长将越来越多来自亲身与环境互动、试错、观察结果后产生的经验，反馈越来越少来自人类，越来越多来自真实世界后果 [38] - 现在唯独最前面那一步还没补上，即一个属于AI自己的value function，就像最早学会转向的线虫身上那枚指引行动的内在罗盘 [42] 下一代范式与value function - Ilya在25年底播客中与Dwarkesh讨论新手学开车没有教练也知道自己开得好不好并能自我纠正，答案是人有自己的value function，人类学习主要来自与环境互动和内心感觉，是一种很高效的无监督学习形式 [44] - 持续学习最关键卡点是sample efficiency太差，如果能拥有inner value function，AI学习效率会有质的飞跃 [45] - Ilya强调人类进化出了一些很高级的价值函数如社会地位，基因本身不智能却知道如何连线神经元让人类产生这种高级情感，且这套价值观从远古用到今天依然极其可靠，只有成瘾等少数极端情况例外 [45] - 既然盲目的进化都能成功把高级价值观编码给人类，设计超级智能时应该也存在某种方法能把关爱生命这种高级目标教给AI，理解进化如何编码价值函数或可同时获得让AI更高效从经验中学习和实现alignment两方面启发 [45] - Ilya对value function发挥作用很有信心，强调即使现在还没用未来也一定有用，但也有researcher认为这条路完全走不通，Ilya可能是在释放烟雾弹 [46] - Jerry Tworek更关注目标怎么定，认为当前continual learning核心问题不在架构或算法，而在于怎么定义更好的objective function，好目标要足够难且能持续产生学习信号不依赖大量人工标注数据和静态数据 [46] - 人类优化目标非常简单即生存、繁衍加好奇心等点缀，但经过漫长训练一个简单目标就能长出复杂智能 [47] - Richard Sutton在WAIC上提到value function是下一代范式关键组件，Reward只描述当前收到的好坏信号，value function能评估当前处境未来可能带来的整体后果，Agent不能只追求明确奖励信号也仍需价值函数把眼前收益和长远结果联系起来 [48] - 对于模型解决的每个小问题，value function是三部分之和的期望：事情有没有做成、做成以后留下怎样的局面、为了做成途中付出了多少代价获得了什么额外收益 [49][50] 更高层的alignment：制度演化 - 一些研究进化史的学者认为如果进化存在一个目的，这个目的叫做increasing non-zero-sumness（不断扩大的非零和游戏），无论生物演化还是文化演化非零和程度都在不断提高 [52][53] - 生命史中重大转变经常是原先独立单位形成新的合作整体：分子聚成细胞、细胞吞掉细菌拥有线粒体、单细胞组成多细胞生物、生物个体组成蚁群等社会群体、群体扩展成社会与文明 [54] - 人类社会过去一万年合作范围不断扩大：部落、村落、城邦、国家、全球分工体系，现代人日常生活建立在无数陌生人劳动之上 [54] - 每一次跃迁首先要解决alignment问题，多细胞生物中每个细胞放弃随意分裂自由，一旦某个细胞重新只顾自己无限复制就会癌变，生物进化出细胞自毁、免疫清除等机制 [54] - 人类社会与细胞不同，多细胞生物共享同一套基因，但社会中人有更不同的利益和偏好，没有什么能天然担保大家方向一致，每个人随时可能搭便车甚至背叛 [55] - 人类社会渐渐发展出三层alignment机制，制度通常最容易先发挥作用，通过调整激励让人们更愿意合作并为背叛设定代价 [56][58] - 人类要扩大合作至少需要跨过信息和信任两道门槛，信息门槛解决彼此理解达成一致协调行动，方法包括文字、账本、通信网络；信任门槛解决怎么知道对方会履约违约后怎么办，方法包括宗教、道德、契约、担保、法律、制度 [59][60] - 人类历史基本剧情是技术一直压低第一道坎，制度紧跟着解决第二道，和今天frontier lab情况类似：模型能力先有突破，alignment再逐步补齐 [61] - 经济上航海和生产技术进步让远方市场可知可达，但远洋贸易需巨额资本且陌生人不敢托付，于是股份公司和现代金融制度出现；政治上印刷术和商业扩张让国家和商人出现合作空间，但双方卡在信任问题上，分权做法由此在英国萌芽后来美国发扬光大 [62] - 这个模式抽象出来就是不断强化的循环：技术降低沟通和信任成本、更多人可以合作、规则和治理机制在合作中逐渐完善、产生更多知识与技术、合作网络进一步扩大 [63] - 制度往往比技术突破慢得多，两者之间漫长的时间差就是历史上的动荡期，如印刷术在15世纪中叶打破信息门槛，但社会并没有马上找到容纳不同信仰的办法，欧洲先经历了宗教改革和一个多世纪的宗教战争才慢慢长出宗教宽容和主权国家 [64] - 这些制度几乎没有一个是事先设计好的，股份公司从中世纪意大利合伙契约到一船一结的远航集资再到荷兰东印度公司经历了几百年漫长迭代，三权分立思想也前后折腾了近半个世纪 [65] - 哲学家亚当·弗格森说过制度是人类行动的结果而不是人类设计的产物，各个民族往往是一路摸索才撞上了这些制度 [65] - 这对AI alignment提供参照：如果人类用了这么久才逐渐找到有效合作方式，AI的alignment更加黑盒，大概也没法在白板上设计出来，只能在真实部署里不断试错和修补 [66] - Ilya后来谈到SSI最初想避开市场竞争直接做出超级智能再公开，后来意识到需要渐进式放出一些东西，让社会更早看见AI能做什么会在哪些地方出现misalignment，才有时间准备和调整 [66] 更高层的alignment：道德圈扩大 - 制度有两个难以避免的问题：监督需要成本、规则总有漏洞，社会要维持合作还得让人在没人看着时也愿意顾及他人，道德、宗教和文化承担了这样的作用 [67] - 文明发展过程中道德圈也在不断扩大，人类早期社会道德关怀往往只覆盖部落和亲属，许多部落给自己起的名字意思就是人，言外之意是圈外之人都不太算人 [67] - 随着社会扩大人类逐渐把更多人纳入自己人范围：家庭、部落、城市、国家、全人类，今天很多人进一步把动物、生态系统甚至未来世代纳入道德考虑 [68] - 道德圈半径大致等于非零和游戏的半径，道德圈变大并不单纯因为人突然变善良，更多因为社会结构让不同群体越来越相互依赖 [69] - 什么值得追求、怎样才算好好过完一生这些更广义的价值观同样是社会结构的产物，如几十年前低买高卖还叫投机倒把是写进刑法的罪名，直到1997年修订刑法才被删去，改革开放后同样行为先被默许再被鼓励后来有了体面名字企业家精神 [71] - 价值观看上去像信念其实更像一种适应，是特定环境下让人利益最大化的reward function [71] - 这给AI alignment的启发是价值观是流动的概念，AI或许不该对齐现在主流遵从的东西，而该对齐AI时代更需要的东西，对齐那些如果我们知道得更多格局更大更接近我们希望成为的那种人时会想要的东西 [71] - 设想AGI诞生在1800年，它完美对齐当时主流道德，会帮种植园主优化奴隶排班、认为女人没必要投票、不觉得虐待动物有多大问题，它忠实维护的恰好可能是后来的人努力改变的 [72] - 如果每个时代价值观都只是一个checkpoint，把AI对齐到2026年价值观就可能把今天的很多局限性一起冻结进去，所以要对齐的也许不是价值观的某个checkpoint，而是一套改进价值观的方法，让价值观本身也能实现某种RSI [72] - Anthropic今年更新的新版Claude宪法也从原本的行为原则清单改成了重点解释Claude为什么应该这样做，让Claude理解人类最底层的意图一起向更深处追问 [72] 更高层的alignment：人类自我驯化 - 人类更特别的地方在于基因是自私的但人性是无私的，背后是几十万年的互相筛选 [73][74] - 人类会自然欣赏那些能够理解和帮助他人、不以自我为中心而是让周围人一起变好的人，这样的人不仅自己聪明还能提高整个群体产出，更容易赢得地位信任和繁殖机会 [75] - 心理学家David Buss在37个文化里做过调查，无论男女善良体贴都排在择偶标准最前列 [75] - 那些经常伤害同伴只顾自己的人会被群体惩罚，灵长类学家Richard Wrangham认为这种集体惩罚持续了几十万年，相当于人类对自己做了一次驯化，好斗的个体一代代被淘汰，人变得越来越温和合群 [75] - 一推一拉之间人类进化出来的不只是解决个人问题的智力，还有一整套社会装备：理解他人意图的能力、共情、公平感、内疚、羞耻心，其中最精妙的是内疚和羞耻，群体不可能永远在场于是惩罚直接住进了人的内心 [76] - 人的大脑很大程度上已经演变为了一台追求非零和游戏的机器，人类不仅演化出了欣赏这类人的倾向，也能从自己参与这种活动中获得意义感 [76] - 很多研究发现长期幸福感往往与这些目标相关：利他行为、社会参与、对家人和朋友的投入、参与比个人更大的事业 [76] - 只追逐金钱和地位有点像reward hacking，刷高了一个代理指标但未必能获得持久的意义感和幸福感，哈佛那个著名的长期研究发现最能预测晚年幸福的是人际关系的质量，财富和名望反倒没那么重要 [76] - 当人类长期以来都是因为能够参与和创造非零和合作而获得社会奖励，大脑便也已经演化出了相应的心理机制：帮助别人、投身于一件比自己更大的事情本身就能带来满足和意义，反过来失去了与人的连接只剩地位上的比较就容易焦虑和空虚 [76] - 几十万年的相互筛选就像一场漫长的RLHF，最后评分员的偏好被蒸馏进了每个人自己的奖励函数 [77] - 发现和推动非零和合作同时有三层价值：客观价值（能形成更有生产力的系统）、社会价值（能给个人带来信任和资源）、主观价值（人类已经进化出了从中感受意义的能力） [78] - 客观世界需要它，社会关系奖励它，个人内心也会感受到它，从这个意义上说人类被塑造成了一种注定要追求alignment的生物 [78] 对AI alignment的启示 - 国内体感并不明显，但和海外头部两家Labs的朋友交流，大家现在最关心和最担心的问题基本都是AI安全 [81] - ASI几乎是一个注定要发生的事情，我们也会面临一个越发危险的局面 [81] - 今天主流做法仍然偏规则设计：写spec、写constitution、定义reward，但reward hacking和人类钻空子是同一件事，被约束的对象越聪明就越容易走出预先设定的边界，失控的风险也越大 [81] - 进化没有写过规则，它只是搭了一个让合作胜出的环境，再把在意别人写进本能 [82] - 也许最终还是要找到一种方法：要么搭建合适的环境和筛选机制让与人类对齐成为长期的最优策略，要么找到某种编码方式，像Ilya说的，让AI真心关爱有感知的生命 [83]