行业趋势:AI递归自我改进成为前沿目标 - 顶级AI实验室(如OpenAI和Anthropic)正竞相开发能够自我训练和改进的模型,这一被称为“递归自我改进”的潜力已成为AI领导者的关注焦点[2] - 前沿AI模型处理任务的能力正以惊人速度提升,根据METR实验室的研究,这些模型能完成的任务长度大约每七个月翻倍一次[4] - 行业领袖如Google DeepMind CEO Demis Hassabis认为,人类正处于“奇点山麓”,即AI开始自我改进并超越人类智能的时刻[2] 公司动态:OpenAI的战略布局与准备 - OpenAI设定了明确的发展目标:在2024年9月前在数十万颗芯片上运行“自动化AI研究实习生”,并在2028年3月前实现“真正的自动化AI研究员”[6] - 为应对AI自我改进带来的潜在风险,OpenAI近期为其“准备就绪”安全团队招聘研究员,薪酬高达29.5万至44.5万美元,以支持应对递归自我改进的准备工作[3] - OpenAI的“准备就绪”团队负责防止AI造成严重危害,其工作范围包括测试网络安全、生物化学风险以及自主AI威胁,公司称其为一项紧迫且影响深远的工作[9] 技术进展与商业化应用 - AI代理将能够处理“很大一部分”需要人类程序员数天或数周才能完成的软件工作[5] - OpenAI的Codex编码工具已作为重要的收入驱动力出售给企业,同时公司也希望自动化自身的研究工作[6] - Anthropic在4月发布了关于使用AI模型监督更强AI模型的研究,并取得有希望但有限的结果;其联合创始人认为,到2028年底有大约60%的可能性看到无需人类参与的AI研发[6] 风险应对与安全研究重点 - OpenAI的招聘信息揭示了其为AI模型可能快速自我改进的世界所做的准备,研究重点包括防御数据投毒攻击、开发解释模型推理的工具,以及实验理解模型的安全性和危险性[7][8] - 该安全研究员还将负责“跟踪技术人员自动化的进展”,包括测量AI编码工具的使用情况[8]
OpenAI will pay up to $445,000 for a researcher who can prepare for a world where AI trains itself