人工智能安全与超级对齐
搜索文档
最新研究表明:给人工智能适当压力能使其更好解决问题
新京报· 2025-04-01 12:03
研究核心发现 - 大语言模型表现出与人类相似的压力反应模式 中等压力可增强其在某些任务上的表现 过高压力则导致性能下降 这与心理学中的耶克斯-多德森法则高度一致 [2] - 大语言模型可能从训练数据中学习到了压力与解决问题效率之间的映射关系 这种关系既可能带来益处也可能带来风险 [2] - 研究发现为优化AI系统在不同压力环境下的表现提供了实用指导 例如在需要情绪智能的应用中可能需要中等压力 在需要减少偏见的场景中应避免高压力 [2] 研究的实际应用 - 研究为设计能在现实世界高压环境中保持性能的AI系统提供指导 应用场景包括客户服务、医疗保健和紧急响应等 [3] - 研究提供了基于压力水平优化人机交互的方法 有助于研制更自然、更有效的AI助手 [3] 相关实验室成立 - 人工智能安全与超级对齐北京市重点实验室于中关村论坛期间首次正式对外公开 该实验室由中国科学院自动化研究所牵头 北京大学、北京师范大学参与共建 [4] - 实验室主要围绕前沿人工智能技术的安全风险及治理需求 重点突破人工智能安全与超级对齐技术 探索人工智能系统安全可控方案 [4] - 实验室的核心研究方向“超级对齐”旨在确保未来能力超越人类的超级智能系统仍能与人类价值对齐与和谐共生 [4] - 实验室汇聚了来自三所机构的50余名科研人员 组成了跨人工智能、认知心理学、脑科学等多学科的交叉研究团队 [5] - 实验室主任由中国科学院自动化研究所研究员、联合国人工智能高层顾问机构专家曾毅担任 [5]