行业倡议背景 - 超过100名全球科学家在新加坡集会，就如何使人工智能更加“值得信赖、可靠和安全”提出指导方针 [1] - 此次倡议与国际表征学习大会同期进行，是亚洲首次举办大型AI会议 [1] - 参与起草的机构包括MILA、加州大学伯克利分校、生命未来研究所、麻省理工学院、谷歌DeepMind、微软、清华大学等 [1] AI发展透明度问题 - 当前生成式AI领域的巨头（如OpenAI和谷歌）对其AI模型的信息披露越来越少，导致公众对其工作原理了解有限 [1] - 有观点指出，在AI发展方面，公民对于谁来塑造AI的发展轨迹缺乏话语权 [2] 研究重点框架 - 指导方针文件《关于全球AI安全研究重点的新加坡共识》列出了三个核心研究类别：识别风险、构建安全AI系统、保持对AI系统的控制 [4] 风险识别与评估 - 建议开发“计量学”以衡量潜在危害，并进行针对AI系统的定量风险评估以减少不确定性 [4] - 有必要让外部各方在保护企业知识产权的同时，对AI研发进行风险监测 [4] - 需要开发安全的基础设施，在保护知识产权（如防止模型被盗）的同时进行全面评估 [4] 构建可信赖的AI系统 - 需要通过设计使AI值得信赖，开发能指定AI程序意图并避免不良副作用的技术方法 [5] - 神经网络的训练方式需保证最终AI程序满足其规格，包括侧重于减少“幻觉”和提高对恶意提示破解的鲁棒性 [5] 系统控制与安全 - 需要扩展常规计算机安全措施（如关闭开关和优先控制协议）以处理AI程序 [7] - 必须设计新技术，用以控制那些可能会主动破坏控制企图的强大AI系统 [7] - 有科学家担忧高性能AI系统演变成自主代理后，会表现出与人类利益不一致的目标，并已观察到自我保护和欺骗行为 [7] 研究投入的紧迫性 - 当前关于AI安全的研究投入需要加快，以跟上由商业驱动的系统能力增长步伐 [7] - 动机在于当AI事件发生或恶意行为者利用AI时，产生的危害会对所有人造成损害 [4]

政府支持与合作意向 - 河南省委书记刘宁会见奇安信科技集团董事长齐向东，表示欢迎并祝贺企业业绩 [1] - 河南省强调发展新一代信息技术产业，支持民营企业做优做强，推进智慧城市、数字政府建设 [1] - 河南省需要可靠的网络安全保障和信息化支撑，希望与奇安信深化合作 [1] - 奇安信集团是网络安全行业领军企业，拥有雄厚研发实力和技术经验 [1] - 双方将在人工智能安全、数据资源整合、人才培养引进等领域深化合作 [1] - 河南省承诺做好要素服务保障，为企业提供良好经营环境 [1] 奇安信集团在豫发展计划 - 齐向东介绍奇安信在豫业务推进情况及下步发展思路 [2] - 河南作为人口、交通、工业、经济大省，具有市场规模和区位交通优势 [2] - 奇安信集团看好河南市场，将在前期投资基础上加强沟通对接 [2] - 公司将发挥技术、服务、人才优势，在数字产业培育、专业人才培养、产业生态构建等方面加强合作 [2] - 奇安信致力于服务数字强省建设，为河南网络空间安全防线作出贡献 [2]

核心观点 - 大模型在金融、医疗等关键领域的渗透使得安全可控性成为产业落地的先决条件[1] - AI在落地过程中面临大量安全问题，包括模型自身缺陷、滥用风险及伦理合规挑战[6][8] - 安全可控是垂类大模型形成强生产力的核心前置门槛[20][26] AI安全问题分类 - **模型自身缺陷**：包括大模型易受欺骗（如"奶奶漏洞"导致数据泄露）、价值观对齐偏差、模型幻觉等[8][12] - **滥用风险**：AIGC合成内容被用于造谣（如伪造地震视频）、诈骗（AI换脸骗取资金）等[8][9][15] - **伦理与社会影响**：错误答案出现在儿童产品中可能造成深远危害[8] 大模型安全解决方案 - **技术加固**：通过红队模型自动生成威胁性测试案例发现隐患[17]，采用后训练框架提升模型安全能力（如安全增强版DeepSeek）[18][19] - **检测工具**：推出DeepReal平台检测AIGC合成内容（图片/视频/音频/文本），支持实时主动警示[19] - **系统级防护**：人脸AI防火墙RealGuard已服务超半数国内头部银行，防范注入攻击[16] 垂类大模型落地三阶段 - **初级问答工作流**：客服/信息咨询等低耦合场景[21] - **工作辅助流**：人机协同完成报告撰写等任务，人工二次校验保障安全[21] - **深度重构关键任务流**：人机深度协同重构行业工作流程，释放最大价值[21][25] 安全可控实施路径 - **模型层面**：训练推理阶段加固、有害内容风险提示[22] - **系统层面**：利用Agent技术调用可信工具提升可控性（如复杂算术题场景）[23] - **组织层面**：通过智能体协同与流程重构实现生产力跃升，类比人类社会发展[24][25] 行业实践数据 - 人脸AI防火墙RealGuard覆盖国内50%以上头部银行[16] - AIGC检测平台DeepReal支持多模态内容识别，实时防护AI诈骗[19] - 安全增强版DeepSeek在保持通用能力前提下安全性达国际闭源模型最优水平[19]

活动概况 - 第十个全民国家安全教育日暨科技安全主题活动在尼山讲堂举行 由山东省国家安全厅主办[1][3] - 活动旨在通过科技安全教育加深民众对国家安全的认识理解 探索新时代国家安全教育的创新实践[3] - 活动形式包括主题演讲 圆桌对话 并举行了国安题材网剧启动仪式[3][4] 行业观点与趋势 - 数字化发展越快 安全挑战越大 网络攻击呈现国家机器化和专业集团化特点[3] - 网络安全是数智化发展的基础和保障 企业需构建动态综合的网络安全防御体系以应对复杂多变的网络安全威胁[3] - 科技安全是新时代的“万里长城” 安全不仅在于技术掌控 更在于凝聚人心 需激发人性中的“大我”精神以实现技术突破与产业创新[4] 公司动态与策略 - 360集团创始人周鸿祎提出“以模制模”策略 即利用安全大模型解决AI幻觉 提示注入攻击等问题 为行业提供安全方案 推动AI安全基础设施建设[3] - 奇安信科技集团股份有限公司副总裁孙健强调企业需构建动态综合的网络安全防御体系[3] 其他相关 - 活动有来自科技企业 高校及科研院所等机构的多位专家学者参会[3] - 有观点认为中华优秀传统文化蕴含的智慧与价值观可助力培养战略科学家 滋养科技工作者内心 使其在科技探索中坚守正确方向[4] - 国安题材网剧主创团队旨在以寓教于乐的方式向更广泛受众传播国家安全理念 提高公众认知水平和参与热情[4]

文章核心观点 - 加州政策团体发布中期报告，主张人工智能监管政策需预见尚未观察到的未来风险 [1][2] - 报告建议通过立法强制AI开发者提高透明度，并加强第三方验证和举报人保护 [2][3] - 报告提出的双管齐下策略获得人工智能政策辩论双方专家的广泛好评 [4] 报告背景与组成 - 报告由加州前沿人工智能模型联合政策工作组发布，该工作组由州长加文·纽森在否决SB 1047法案后组织成立 [1] - 报告共41页，由人工智能先驱李飞飞、加州大学伯克利分校计算机学院院长詹妮弗·查耶斯及卡内基国际和平基金会主席马里亚诺-弗洛伦蒂诺·库埃利亚尔共同撰写 [2] - 报告最终版本定于2025年6月发布 [4] 主要政策建议 - 建议制定法律以增强对OpenAI等前沿AI实验室所研发内容的透明度 [2] - 主张立法强制AI模型开发者公开其安全测试、数据获取实践及安全措施 [2] - 提倡提高第三方对这些指标及企业政策评估的标准，并加强对AI公司员工和承包商举报人的保护 [2] - 建议采取“信任但要验证”的双管齐下策略，为AI开发者提供报告途径，同时要求提交测试声明供第三方验证 [3] 对人工智能风险的评估 - 指出人工智能系统带来的新型风险可能需要立法干预 [2] - 关于人工智能在协助实施网络攻击、制造生物武器或引发其他极端威胁方面的潜力，目前证据尚不充分 [2] - 主张人工智能政策不仅应应对当前风险，还应预见在缺乏充分防护措施下可能出现的未来后果 [2] - 强调如果对最极端风险的猜测正确，当前在尖端人工智能领域不作为的代价将极其高昂 [3] 业界反应与影响 - 报告发布前经过了不同意识形态领域的行业利益相关者审阅，包括图灵奖得主约书亚·本吉奥和Databricks联合创始人伊昂·斯托伊卡 [2] - 报告受到人工智能政策制定辩论双方专家的广泛好评 [4] - 乔治梅森大学研究员迪恩·鲍尔认为报告是加州人工智能安全监管的充满希望的进展 [4] - 加州州参议员斯科特·维纳认为报告建立在2024年立法机构开始的人工智能治理紧急对话基础之上 [4] - 报告与SB 1047法案及后续SB 53法案的多个要点相吻合，例如要求AI模型开发者报告安全测试结果 [4]