研究院成立与定位 - 北京前瞻人工智能安全与治理研究院近日成立，落户中关村门头沟园“京西智谷” [1] - 该研究院是北京的新型研发机构，旨在通过前沿理论研究、技术研发、标准制定、平台构建与服务，为企业、社会和政府提供人工智能安全护栏与安全模型 [1] - 研究院由北京市经信局作为主管单位，经北京市民政局批复成立 [2] 成立背景与目标 - 人工智能的发展带来前所未有的机遇，同时也带来隐私侵犯、虚假信息、人工智能幻觉、偏见歧视、自主系统风险等潜在风险与挑战 [1] - 社会无法接受缺乏安全与治理的人工智能无序发展，安全、伦理与治理将促进人工智能的稳健发展 [1] - 研究院的目标是有效监测和防范人工智能的技术和社会风险 [1] 研究基础与合作伙伴 - 研究院的前身是北京人工智能安全与治理实验室，该实验室于2024年9月揭牌 [2] - 在半年多的发展期间，实验室与合作机构已共同发布了多项研究成果，包括生成式人工智能大模型面对压力的行为表现与机理研究、人工智能大模型的安全护栏研究等 [2] - 研究院汇聚了中国科学院自动化研究所、中国信息通信研究院、北京大学、清华大学、北京邮电大学等科研团队力量，并联合多家人工智能与安全企业共同开展研究与实践 [2] 研究领域与体系构建 - 研究院的研究领域涵盖技术安全与治理、全球人工智能安全与治理评估与合作 [2] - 实验室曾联合发布全球人工智能安全指数 [2] - 研究院致力于建立健全覆盖技术研发、风险评估、伦理审查、应急处置的全链条安全治理体系 [2]