公司背景 - Id Software成立于90年代，开发了《指挥官基恩》《德军总部3D》《毁灭战士》和《雷神之锤》系列，其中《雷神之锤》推动了GPU发展和普及，间接促成现代人工智能世界的形成[3] - Armadillo Aerospace致力于垂直起降（VTVL）火箭研发，相关工作持续十年[6] - Oculus为现代虚拟现实奠定技术基础，后被Meta收购[8] - Keen Technologies专注于AI研究，团队已有六名来自学术界和工业界的研究人员[11][12][13] 技术方向 - 不参与LLM相关工作，认为LLM"无所不知却又无所学"，更倾向于通过交互式体验流进行学习[16] - 专注于游戏和虚拟环境，认为PC游戏中的超人类水平机器人作弊问题可通过云游戏流媒体解决[18] - 目标提供由混合被动和交互内容组成的虚拟学习环境，构成无限可滚动的"视频墙"[22] - 选择Atari游戏作为研究平台，因其无偏见且玩法多样，与大量研究成果可比性高[30][31] 技术挑战 - 连续高效终身单一环境多任务在线学习仍是未解决问题，现有系统无法复制猫狗的简单能力[20] - 强化学习框架存在近期偏差和灾难性遗忘问题，串行多任务学习中智能体难以保留旧技能[81][82] - 神经网络训练存在可塑性丧失现象，与生物大脑老化相似，需平衡初始学习速度与长期表现[93][94] - 离线强化学习效果不佳，因缺乏持续现实检验，可能陷入未经验证的连贯幻想世界[87][88] 算法优化 - 使用CUDA图和显式同步优化训练过程与环境交互的重叠，提高消费级硬件上的FPS[41] - 为动作添加延迟线解决现代高性能算法在延迟环境中的崩溃问题[43] - 提出新基准测试循环通过一组游戏，结合原始学习速度与避免遗忘能力[97] - 探索各向同性CNN、循环各向同性半密集CNN等新型网络架构提升图像处理性能[143][145] 实验设计 - 开发Atari 2600+游戏系统，包含摄像头、伺服电机操纵杆和运行强化学习智能体的笔记本电脑[47] - 测试八款不同游戏，关注摄像头观察、操纵杆动作、分数检测等物理硬件交互问题[50][51][55][62] - 开源相关工作，使用April Tags进行屏幕校正和分数识别[48][52] - 将硬探索游戏如《蒙特祖玛的复仇》和《Pitfall》作为长期研究课题[71]