强化学习与OaK架构 - 强化学习之父Richard Sutton提出OaK架构作为实现通用人工智能(AGI)和超级智能的路径，该架构基于经验学习并强调开放式抽象[1][2] - OaK架构目前仍是一个愿景，需要突破持续深度学习等关键技术才能实现[6][86] - 架构名称来源于两个核心概念：Options(选项)和Knowledge(知识)，通过构建子问题和状态转移模型实现智能演进[78][80] 智能体设计原则 - 理想智能体应具备通用性、经验性和开放式抽象能力，不预设特定领域知识[13][23] - 强调运行时学习而非设计时预设，因世界复杂性无法预先建模[22][38] - 采用奖励假设作为目标形式化方法，简单标量奖励足以引导复杂智能行为[44][47][51] 技术实现路径 - 架构实现需完成八个步骤：从基础强化学习到特征生成、子问题构建、规划执行等[82] - 关键挑战包括持续深度学习中的灾难性遗忘问题，目前仅部分解决方案[89] - 状态特征生成是核心难题，需突破表示学习和元学习等传统方法局限[93][96] 行业应用前景 - 架构强调的计算资源瓶颈而非数据量限制，符合当前AI发展趋势[43] - 选项模型和高级规划能力可提升AI系统在复杂场景的决策水平[141][145] - 开放式抽象机制为AI系统自主演进提供理论框架[160]