Anthropic警告:AI可能很快进入自我加速阶段,等人类察觉或为时已晚
文章核心观点 - Anthropic在11月2日更新的IPO招股书中警告AI可能很快跨过“递归自我改进”(RSI)相关的关键门槛,让AI研发速度大幅加快 [1] - 过去出现过未能及时察觉研发进步显著加速、直到加速发生后才发现的情况 [1] - Claude已经参与编写代码、运行实验和处理训练数据,帮助开发更强的下一代模型,新模型又能反过来加快后续研发,形成不断提速的循环 [1] - 随着AI越来越深入自身研发,模型能力可能增长得比安全评测、对齐研究和防护措施的更新还快 [1] - Anthropic目前尚未认定任何现有模型达到这一水平,此次预警主要基于内部估算和对未来模型的预测 [1] - 公司目前正考虑修改安全政策,确保关键研发过程仍由人类监督和控制 [1] 安全政策关键门槛 - 按照Anthropic的安全政策,触及关键门槛的第一种情况是AI能以相近成本完成整个AI研究团队的工作 [1] - 触及关键门槛的第二种情况是让AI技术进步速度至少翻倍,把原本需要两年取得的进步压缩到一年 [1]