文章核心观点 - 人类数据可能正在成为人工智能继续突破的限制，要想真正实现超级智能，或许必须摆脱对人类数据的依赖 [1] - 把语言作为主要推理方式，可能从一开始就不是正确的范式 [1] - 超级智能不应只是掌握海量知识的模型，而应是能够持续学习、不断发现新知识的系统 [1] - Ineffable Intelligence 实验室正在探索一条与当下主流大模型路线截然不同的方向，即摆脱对人类知识、语言和认知方式的依赖 [1] 公司创始人与背景 - 大卫·席尔瓦曾长期在谷歌 DeepMind 从事强化学习研究，是 AlphaGo 等突破性项目背后的重要研究者之一 [3] - 拉瑟·埃斯佩霍尔特同样深耕强化学习，尤其关注如何借助大规模计算系统让这类学习方法在更复杂、更庞大的环境中运行 [3] - 两位创始人的共同点是更关心机器能否通过自己的行动和经验发现人类尚未发现的知识 [4] - AlphaGo 展示了强化学习的惊人潜力，机器不仅可学习人类棋谱，还可通过自我对弈不断提升棋力 [4] - AlphaZero 更进一步，在不依赖人类棋谱的情况下通过自我对弈掌握了围棋、国际象棋等棋类游戏 [4] - 棋盘终究是规则明确、边界有限的世界，现实世界远比棋盘复杂，科学研究、工程设计、物理系统等没有现成标准答案 [4] - 如果人工智能要从解决人类已定义好的问题走向发现人类尚未意识到的问题，需要的可能不再只是更大的模型和更多的数据，而是一种能够持续产生新知识的学习机制 [4] 核心系统：超级学习者与试炼环境 - 公司正在构建的核心系统被称为“超级学习者”，目标不是把人类积累的知识尽可能完整地装进一个模型，而是让人工智能从相对无知的状态出发，通过与环境互动、尝试不同策略、从成功和失败中积累经验，逐步建立对世界的理解并持续发现新规律 [5] - 公司还提出了“试炼环境”的概念，可理解为一系列供人工智能反复接受挑战的模拟世界，系统需要在其中完成任务、应对复杂情境、检验自己的判断，并在一次次试错中提升能力 [5] - 环境不只是训练机器的工具，也将成为检验它究竟学会了什么、还能发现什么的关键 [5] - 这条路线与当下大语言模型竞赛形成鲜明对照，主流路径在不断扩大模型规模、增加训练数据并提升模型处理语言和知识的能力，而公司试图追问的是另一个更基础的问题：与其让机器越来越擅长复述人类已经知道的世界，为什么不让它自己去发现世界 [6] - 这并不意味着语言模型或人类数据毫无价值，也不意味着只要采用强化学习就必然能够诞生超级智能，真正的挑战在于如何让机器在开放、复杂甚至没有明确答案的环境中持续学习 [6] - 如果这条路最终走通，带来的就不只是一次模型能力的升级，而可能是人工智能发展方式的一次转变：从主要学习人类已经积累的知识，走向通过自身经验持续创造新知识 [6] 创立新研究实验室的动机 - 大卫·席尔瓦在 DeepMind 度过了一段非常美好的时光，但他对 AI 如何超越今天的发展水平、最终走向超级智能有着非常坚定的信念 [11] - 他所相信的这条道路并不需要把基于 LLM 的产品作为一个中间阶段 [11] - 他认为这条路线的信念如此强烈，以至于不应仅仅成为某个专注于 LLM 产品的组织内部一个小小的研究方向，它值得拥有一家顶尖的 AI 实验室全力投入 [11] - 当今世界已有数万甚至数十万名非常优秀的研究人员都在采用几乎相同的方法，不断加码 LLM 路线，包括 pre-training、post-training、coding 及其他相关工作 [11] - 他意识到还有另一盏路灯下的区域目前几乎没有人去探索，如果把精力投入到那里，更有可能对整个领域产生巨大的影响 [12] - 一旦这条路线成功，它将改变整个 AI 领域，因此最终选择创办一家独立的公司 [12] 公司命名与理念 - Ineffable 这个名字源于这样一种想法：知识可能是极其不可思议的，未来超级智能所发现的知识可能令人难以置信、超乎想象，甚至深刻到根本无法用人类语言表达 [14] - 公司不打算依赖以人类语言为基础的方法，而是要构建能够自行探索、发现事物的系统，这样的系统有可能发现极其深奥、难以置信的知识，最终达到一种无法言喻的境界 [14] - 公司认为这条路线肯定能奏效，如果真正坚定地坚持从经验中学习，那么这种方法理应能成功 [15] 超级学习者的定义与愿景 - 超级学习者指的是一种具有惊人学习能力的系统，不仅在学习的深度上拥有极强的能力，在学习的广度上也是如此 [19] - 在深度上，它应该能够从完全一无所知的状态出发，一路探索，最终发现远远超出人类现有认知的事物 [19] - 人类最初的大脑里就像只有一团灰色的、混沌不清的东西，却通过某种方式逐渐发现了今天人类所掌握的一切，这是一个集体探索和发现的过程，涉及语言、技术、科学、数学及其他所有领域 [20] - 人类学到的一切都是自己探索发现的，并不是有人从天而降给出一份蓝图，也不是有人直接交给一个包含万亿个元素的数据集，而迄今为止 AI 还没有真正实现这一点 [20] - 要实现超级智能，关键就在于构建一种系统：它能够不断学习、不断探索，并且永无止境地发现新知识 [21] - 在广度上，希望这个系统能够在广泛的领域中进行惊人的探索和发现，能够被放入任何一种经验环境中，无论是模拟世界、数字世界还是物理世界，都可以不断学习、持续进步 [21] - 如果真正实现了这一目标，最终诞生的超级智能将会像魔法一样令人惊叹，将拥有非凡的能力，能够创造出许多令人赞叹的成果 [21] 与主流 LLM 路线的区别 - 主流范式是将大 LLM 与强化学习结合起来，目前这类系统似乎已经能够解决一些问题并在某些领域取得科学发现 [24] - 公司所说的超级学者首先是一种能够完全自主地进行探索和发现的系统，至少从目前这些方法来看，要取得突破仍然需要大量 human-in-the-loop 的参与，还没有真正实现完全自主 [24] - 这种系统还应该能够应用于真实世界中具有实体形态的场景，让 Agent 通过自身的物理体验来学习，而距离实现这一点还差得非常非常远 [24] - 甚至无法确定 LLM 和以语言为基础的方法究竟是不是获取这类知识的正确途径，用语言来思考这些问题可能本身就不是正确的范式 [24] - 目前 LLM 使用的大量人类数据反而可能成了限制系统发展的负担 [24] 实现超级智能的三步走 - 公司目标是建立一套最先进的强化学习技术栈，让系统能够以极大的规模运行，高效地吸收数据，并以最佳方式进行学习，使系统能够持续学习、不断进步 [26] - 公司还在构建能够让超级学者充分探索和发现各种知识的环境，也就是模拟环境，称为 Crucibles（试炼环境），它们是专门设计的环境，Agent 可以在其中做出惊人的发现，并展现、学习各种智能能力 [26] - 整体工作包括几个方面：一是构建超级学者开展相关研究，让它的能力达到惊人的水平并超越强化学习目前的 state of the art；二是进行相应的工程开发和基础研究；三是创建试炼幻境，并将超级学者放入其中，观察令人惊叹的行为和能力如何涌现 [27] - 公司主要依靠设定研究里程碑来推进，这些里程碑与人类自身的探索历程有一定的相似之处，希望 Agent 能够重新发现人类在探索知识过程中所经历的重大突破 [27] Agent 训练方法 - 公司开展强化学习的方式与领域许多其他研究者的做法有所不同，不会通过一连串的小提示一步步引导 Agent 去完成某个特定的学习目标 [29] - 很多人在使用 RL 训练 LLM 时会先设定一系列问题，告诉 Agent 应该先学习这个问题再学习那个问题，通过一步步铺设路径实际上是在牵着 Agent 的鼻子走，把它引向某个预先设定的结果 [29] - 公司会给 Agent 一些简单的目标，然后让它自己去探索，看看能不能发现一些让人感到惊喜甚至叹为观止的东西 [29] - 原则上 Agent 有能力发现各种各样的事物，而公司未必能够提前知道它最终会发现什么 [29] - 公司不会刻意设计一个 reward function 去精确描述科学、技术或语言究竟是什么，希望 Agent 能够自己发现这些东西 [33] - 如果连从事 AI 研究的人都无法解决这个问题，那么就永远无法创造出能够发现全新知识领域的 Agent，更不用说那些目前甚至还不知道其存在可能性的知识领域 [33] - 未来可能存在着许多广阔的知识领域，而现在连它们是否存在都不知道，应该让 Agent 处于一种开放、自由的探索过程中，让它们自己去摸索、理解和发现事物 [34] 试炼环境的构建 - 公司正在构建 Crucibles，这些环境具有催生大量涌现复杂性的能力 [36] - 公司并不是人为地设计出一大堆谜题再让 Agent 逐一解决，相反希望这些环境本身就蕴含着极其丰富的涌现复杂性 [36] - 复杂性可以来自不同的方面，例如可以来自物理引擎：当数百万个物体在一个复杂的物理引擎中相互作用时，就会产生丰富的复杂行为 [36] - 也可以让数百万个 Agent 同时在环境中互动，这样环境的复杂性就会大幅提升，因为每个 Agent 都需要面对其他所有 Agent 所带来的复杂性 [36] - 通过这些方式可以构建出比过去常用的标准模拟器复杂得多的世界，如果能够正确地构建这些环境，就能创造出让 Agent 自主探索和发现的空间 [37] - Agent 有可能在其中发现各种各样的东西，从技术、科学、数学到语言及其他所有领域，就像人类一样，探索的范围可以涵盖整个光谱，从运动控制、协作等基础能力一直到更高级、更复杂的智能行为 [37] - 以围棋为例，它的表示方式非常简单，本质上就是一个 19×19 的网格，模拟过程也极其简单，但依然能看到复杂行为的涌现 [37] - 如果要想实现百分之百真实的物理模拟，计算成本会非常高，因此公司希望构建一系列不同的 Crucibles：其中一些比较简单，可以快速运行，方便反复试验和迭代，但同时又足以产生非常复杂的行为 [37] - 公司选择在 Crucible 中纳入哪些基本要素，会在很大程度上决定最终涌现出什么样的学习能力 [38] - 公司的最终目标是构建能够立足于真实世界的系统，而这些环境只是通往这一目标的垫脚石 [39] 多 Agent 互动与复杂性涌现 - 围棋如果是一款只有一个 Agent 的游戏，恐怕会无聊到极点，只需要不断地在网格上放置棋子直到整个棋盘被填满，根本不存在任何策略可言 [40] - 一旦在环境中加入第二个 Agent，涌现的复杂性就出现了，因为一个 Agent 必须推理和预测另一个 Agent 可能采取的所有行为，环境的复杂程度便会骤然提升 [40] - 围棋的学习曲线似乎是无穷无尽的，可以在这款游戏中持续学习，不断发现新的东西，似乎永远没有尽头 [40] - 极其简单的环境规则也能催生出层层叠叠、仿佛永无止境的复杂性 [40] 对人类语言的看法 - 如果有人觉得人类语言就是推理能力发展的终点，或者认为人类语言是推理的最佳方式，那么这种看法未免有些天真 [43] - 必然存在远比人类语言更加复杂、更加先进的推理方式，例如可能会出现一些能够并行化、内容丰富且结构复杂的推理方法，比如基于神经网络的推理或其他类似的方式 [43] - 以人类语言作为推理的起点本身就存在一些问题，因为这种做法会将人类对 Agent 应该如何思考的各种偏见一并带入系统 [43] - 如果回到 500 年前、1000 年前甚至 2000 年前，只能使用那个时代的人类语言，那么 Agent 可能会认为地球是平的，或者认为疾病是由所谓的四体液失衡引起的 [43] - 系统还可能继承各种各样奇怪的观念，而这些观念会很难被消除，因为它们已经深深嵌入当时人类的语言体系和思维方式之中 [43] - 超越人类语言所带来的限制是一个非常重要的目标 [43] 从 AlphaGo 到 AlphaZero 的经验 - 从 AlphaGo 到 AlphaZero 的发展历程最能说明摆脱人类先验知识会带来什么结果 [45] - 大卫·席尔瓦当时对去除人类先验知识很可能会带来更好的结果这个判断大约是五五开，并没有十足的把握，当结果真正出现时感到非常兴奋 [45] - 公司在 Ineffable 所押注的方向就是放弃当今几乎所有人都在依赖的资源，也就是人类数据以及整个互联网所积累的知识 [46] - 其他团队都在利用这些数据构建自己的系统，而公司决定不再依赖它，这是一个非常重要的选择 [46] - 这意味着短期内要作出一些牺牲，可能会放弃一定程度的性能，以换取某种潜力更大的东西 [46] - 构建超级学者意味着创造一种在学习深度和广度上都具有无限潜力的系统 [46] - 从学习深度来看，需要构建一种能够发现远超人类现有知识的系统，如果过度依赖人类数据，就会更难发现那些真正能够推动实现这一目标的算法 [47] - 从学习广度来看，也需要一些算法能够被放入各种不同的环境中自主探索和发现知识，而这些环境可能根本不适合使用人类语言或现有的人类数据来描述 [47] - 有许多不同类型的传感器所采集的信息可能根本无法用人类语言数据甚至一般意义上的人类数据来充分表达 [47] - 只有放下对人类数据的依赖，才有机会发现能够远远超越现有能力的东西 [47] - 当时花了大约两年时间来构建 AlphaGo，这个过程在某种程度上与今天的 LLM 路线很相似：逐层搭建系统，每一步都需要人工设计和调整，加入大量人类数据，再通过 human-in-the-loop 的方式不断改进 [47] - 当真正做出 AlphaZero 时，公司放弃了人类数据，转而专注于设计一种能够自主发现知识的算法 [48] - 一旦找到正确的方法，AlphaZero 只花了几个小时就超越了此前花费两年、依靠人类参与才取得的成果 [48] - 在国际象棋领域，AlphaZero 只用了四个小时就击败了当时最强的 AI，也就是有史以来最优秀的国际象棋 AI [48] - 在围棋领域，大概只用了几天时间就取得了令人难以置信的进步 [48] - 如果想让系统超越现有竞争者、发现全新的东西并实现持续不断的自主学习，就必须放下对人类数据的依赖 [48] - 如今许多 LLM 公司实际上仍在构建一种半自主、依赖 human-in-the-loop 的学习算法，成千上万的人参与其中，不断推动系统学习和进步 [48] - 在真正退后一步找到一种能够让系统自主学习、自主发现的机制之前，不认为能够实现真正的超级学者，也无法释放之前讨论过的全部潜力 [48] 避免人类先验渗入的方法 - 公司在设计环境、奖励函数等内容时显然会带入一些人类偏见 [51] - 公司不希望把方向限定为基于某种特定的基础架构来构建机器，真正想做的是：如果提出一个机器能够发挥作用的问题，那么看看它最终会创造出什么样的机器、什么样的计算系统 [51] - 公司并不是把这件事当成一种教条，并不信奉某种宗教认为任何地方都不能存在人类先验，这其实是一种务实的立场 [51] - 只要还没有放弃依赖那些承载着人类知识的、规模达万亿级的数据集，就不可能取得这个领域理应取得的进展 [51] - 在实践中会引入一定程度的先验知识，会采用适用于许多不同世界的先验，而不是引入非常强的先验去精确编码对某个特定问题或某个特定世界所掌握的全部知识 [51] - 采用一些较弱、与具体环境无关的先验是完全合理的 [51] - 对于那些极其强大的先验以及规模达万亿级的数据集，公司正努力避免依赖它们，因为从务实的角度看，认为这样做会带来更好的结果 [52] 对超级学习者实现时机的判断 - 大卫·席尔瓦坚信这种方法在某个时刻一定能够实现，事实上这是目前唯一拥有实际存在性证明的方向 [54] - 人类的大脑就是一个例子：它证明了某种极其通用的智能确实存在，这种智能能够在具身世界中运作，并且能够发现如何完成各种各样不同的任务 [54] - 这件事最终会成功还是失败，取决于能否把握正确的时机 [54] - 创办一家初创公司就希望自己进入市场的时机恰到好处，既不能太早也不能太晚 [55] - 如果太晚，别人早就做出来了，那就没什么特别的了，因为已经有一千个人做过同样的事情 [55] - 如果太早，可能一直在敲门却始终无法进入，也许是这个领域还没有发展到足够成熟的阶段，也许是可用的计算资源还不足以取得成功 [55] - 在计算机围棋方面，大卫·席尔瓦大概提前十年做出了预测，准确预测到了具体年份 [55] - 星际争霸也是如此，打过一个赌，也做出了预测，结果同样预测准确 [55] - 也曾预测国际数学奥林匹克竞赛什么时候会被攻克 [55] - 大卫·席尔瓦有很强的直觉，认为现在就是超级学习者有望取得突破的正确时机 [57] - 技术已经取得了巨大的进步：能够利用大型语言模型编程方法或者自动化研究方法来加速研究 [57] - 对规模扩展规律的理解不断加深，技术本身以及整个技术体系也变得越来越成熟 [57] - 许多条件都已经逐渐到位，让人觉得现在是合适的时机 [57] 计算资源 - 计算资源是一个非常重要的驱动力，甚至可以说是极其巨大的驱动力 [59] - 公司目前处于一个很好的位置，因为已经成功获得了大量计算资源 [59] - 这让他们有机会尝试一些复杂程度远超以往的方法，可能比过去那些尝试让智能体自主发现强化学习策略的方法复杂好几个数量级 [59] - 如果拿开放人工智能公司早期的躲藏与追逐实验来比较，那是一个很早期的案例，展示了智能体如何发现一些基本的工具使用方式 [59] - 公司现在完全有可能运行一些使用量达到其十万倍的计算资源的实验 [59] - 考虑到如今计算资源的可用性，人们却没有重新深入探索这些方法，这很令人惊讶 [59] - 公司很幸运能够获得一个规模如此庞大的计算集群 [60] - 这是一个非常出色的计算集群 [61] - 公司现在有了真正可以用来验证这些想法的资源，而世界上真正开展类似工作的团队并不多 [61] - 公司现在可以用一种过去在深度思维公司时无法做到的方式来真正测试这些想法 [61] 模拟的潜力与局限 - 气象网是一个很好的例子，这是公司在谷歌大脑阿姆斯特丹办公室与谷歌研究部门合作开发的天气预报模型 [64] - 当时使用机器学习来预测短期天气，而它的表现明显优于基于物理原理的模拟方法，因为物理模拟随着时间推移会不断累积误差 [64] - 物理模拟并不完美，可以构建许多相对简单的环境，在其中观察一些行为如何涌现，例如技术如何发展等，而这些环境并不需要精确模拟真实世界的物理规律 [64] - 如今一个规模很小的团队究竟能构建出多么复杂的模拟系统和相关工具，这一点很有意思 [64] - 模拟肯定存在某种上限，但是否真的存在一个明确的上限也让人好奇 [64] - 量子物理之类的东西可能就是其中的限制因素 [64] - 即便存在某种上限，依然可以在不模拟真实物理规律的情况下做出非常有意思的事情 [64] - 真正应该问的问题是：能否在