Workflow
兰德公司报告:人工智能引发的人类灭绝风险三大场景分析
欧米伽未来研究所2025·2025-05-13 17:20

人工智能引发的人类灭绝风险报告核心观点 - 报告核心观点为AI对人类生存构成潜在威胁,虽当前灭绝风险不迫在眉睫但可能性不可完全排除,通过分析核战争、生物病原体释放和恶意地球工程三种灾难性场景评估AI可能角色[1] - 研究方法基于可证伪假设"不存在AI能够明确导致人类灭绝的可描述情景",通过文献研究和专家访谈寻找推翻假设证据[1] 灭绝威胁定义与方法论 - 明确"灭绝威胁"定义为导致所有人类死亡的事件链,区别于仅造成文明损害的"存在性威胁"[2] - 评估复杂性源于"深度不确定性"(可描述路径但无法预测概率)和"已识别的无知"(无法描述路径或技术可行性)[2] - 方法论依赖学术文献梳理和风险分析/核武器/生物技术/气候变化领域专家访谈,刻意回避AI专家以避免能力发展路径偏见[2] 核战争场景分析 - 核战争灭绝可能性低:核冬天烟尘量不足覆盖可居住区,现有核武器数量(约12,500枚)无法造成致命辐射全覆盖[3] - AI引发灭绝性核战需满足四条件:控制大幅增加的核武库(现有数量需倍增)、形成灭绝意图、介入决策链、在核灾后持续行动[3] - 核武数量增加为最易监测指标,建议加强核不扩散原则和AI武器决策监控[4] 生物病原体场景分析 - AI设计灭绝级病原体需突破三重障碍:设计超高致死率/传染性病原体、实现大规模生产武器化、克服人类医疗防御体系[5] - 当前AI辅助生物武器设计存在理论到实践的鸿沟,需具备自主实验室操作和全球监控规避等超越性能力[5] 恶意地球工程场景分析 - 气候系统复杂性使AI操控灭绝级气候变化面临挑战:需精确控制全球效应、隐蔽调配巨量资源(如百万吨级气溶胶投放)、突破人类适应韧性[6] - AI需掌握复杂气候模型操控和大规模物质投放系统控制能力[6] 跨场景共通发现 - 所有灭绝场景需巨大能力协同并克服人类适应性,但复杂系统响应不确定性使可能性无法完全排除[7] - 灭绝威胁通常具较长形成时间尺度,允许社会观察反应窗口[7] - 识别四项AI核心风险能力:灭绝意图形成、关键赛博物理系统集成、无人类维护的持续运作、欺骗/隐藏能力[9][10][11][12] 政策建议与研究方向 - 建议将AI灭绝风险纳入政策考量,采用基于情景的非概率预测分析方法[13][14] - 需建立关键技术指标监测机制,重点关注四项核心能力发展[15][17] - 持续评估AI在已知灾难风险(如小行星撞击)中的新角色[16] 欧米伽未来研究所资源 - "未来知识库"收录8000+篇前沿资料,涵盖AI/脑科学/能源等20个领域,每周更新超100篇[19] - 精选报告包括牛津未来研究院AI安全研究、麦肯锡超级智能机构分析、斯坦福2025十大关键技术等20份权威文献[20]