AI失控风险认知 - AI完全失控的概率在10%到20%之间，风险真实存在，其后果可能不可逆转[2] - 企业间与国家间的激烈竞争正推动AI系统加速演进，但此过程往往缺乏对潜在后果的充分考量[2] - 尽管存在认为担忧被夸大的观点，但AI失控已非科幻想象，而是一个需要高度重视的真实风险[2] 当前治理挑战 - 监管政策制定程序复杂，难以跟上技术迭代速度，例如GPT-4发布后不到半年即有多款对标模型上线，但相关法律与管控机制仍未落地[3] - 现有监管更多依赖企业自主约束，在竞争激烈的背景下，企业可能优先追求能力突破而弱化风险防控[3] - 全球协同治理出现“赤字”，例如61国签署AI声明时英美两国拒签，且美国放宽了对人工智能发展的监管[3] 技术安全防护短板 - 人工智能发展存在巨大不确定性，难以预测失控的临界点[4] - 当前模型运行的技术基础设施缺乏足够安全保障，如网络安全防护不足、物理安全措施薄弱[4] - 现有AI安全防护技术（如端点检测、防火墙）面对具有战略欺骗能力和快速演化特性的高级AI系统可能完全失效[4] 构建治理框架的建议 - 应坚持敏捷治理理念，尽快出台政策并根据实践反馈迭代完善，治理措施上突出柔性原则，引导为主，惩罚为辅[6] - 需完善硬法与软法体系，优化对大模型的风险评估与分级管理，加强对敏感数据的分类保护，并明确研发者、提供者、使用者的权利与义务[7] - 应加强可解释性研究以理解AI内在机制，推动安全防御从被动补救转向主动免疫，构建覆盖全生命周期的安全运营框架[7] 全球协作的必要性 - 应对失控风险必须依靠全球协作，但当前最前沿的AI公司之间仍缺乏有效交流[8] - 应加强双边尤其是中美对话机制，并落实联合国体系内已达成协议的人工智能治理机制[8]