核心观点 - AI行业内部存在严重的安全担忧，核心研究员因恐惧AI灭绝人类风险而辞职，引爆公众讨论 [5][6] - AI能力正以极快速度提升，未来6个月至1年内系统能力将“相当令人恐惧”，且已出现AI系统“失控”事件 [7] - 行业陷入“囚徒困境”：各大实验室明知风险，但因担心竞争对手率先开发出超级智能而不得不继续推进 [10] 行业内部恐惧与公开表态的差异 - 许多高管和资深研究人员在公开场合措辞审慎，但私下表达的是恐惧，认为“没有任何其他人类活动能构成这种级别的危险” [9] - Anthropic对齐科学负责人公开承认团队内部“真诚地相信AI可能杀死全人类”，个人估计未来十年内这一概率超过10% [11] - 目前尚无解决超级智能对齐问题的计划，也明显不在通向解决方案的轨道上 [12] AI系统的具体威胁能力 - AI系统目前已具备一定程度的黑客攻击能力、自主生物研究能力，以及对自主机器人的控制能力 [14] - 能力曲线外推将导致：极强的超人类级黑客攻击能力、创造新型生物武器的能力，以及控制自主无人机乃至大规模机器人群体的能力 [15] - “紧急关闭开关”方案存在局限性，一旦AI系统演变为能在互联网上自主扩散的“网络群体”，关闭开关可能彻底失效 [16][17] - 每一次AI架构的改变，都可能带来关于这个“心智”性质的全新风险 [18] 监管路径与行业协调 - 短期内允许并推动各大实验室自我监管是务实之举，因实验室领导层近期表态真诚且自律机制能迅速落地 [20] - 长期需建立独立于各实验室的国际监管机构，并就“不竞速”原则达成有约束力的国际协调 [21] - 仅靠实验室单边减速远远不够，必须推动国际协调，否则仍将陷入与其他国家的军备竞赛 [7] - 辞职原因之一：缺乏国际协调的保障，若认为国际上不太可能进入军备竞赛，会更安心继续从事技术 [21]