人工智能技术发展现状 - 通用人工智能(AGI)概念已从五年前需要解释发展为当前社会广泛关注的热点话题 [5][6] - 顶尖科学家如杰弗里·辛顿教授多次公开强调AI可能带来的社会风险 [8] - 当前AI技术存在幻觉、偏见等核心问题，但距离毁灭社会仍较远 [10][11] 对抗样本技术问题 - 自动驾驶系统可能因路牌上微小扰动(如胶带)而错误识别交通标志 [12][15] - 图像识别系统在添加人类难以察觉的扰动后会产生完全错误的识别结果(如将汽车识别为Hello Kitty) [18][20][22] - 大语言模型在输入细微改动时会产生完全不同的翻译结果，甚至可能被诱导输出危险内容 [31] AI偏见问题根源 - 训练数据不平衡导致模型偏见，如Google Photo将黑人误标为"大猩猩"、亚马逊招聘系统歧视女性简历 [40][45] - 大模型存在过度自信现象，ResNet模型60%情况下会给出100%确信的判断 [61][63] - 数据中隐含的社会结构信息(如职业性别分布)会被模型放大 [85][86] 算法局限性 - 主流AI算法学习的是相关性而非因果性，导致模型在未知问题上产生幻觉 [93][94][99] - 强化学习可通过设计奖励机制缓解幻觉问题，如在狼人杀游戏中使AI行为更合理 [113][116][117] - 不同研究团队使用相同数据可能得出完全相反的结论，显示算法选择的主观性 [131][132] 价值对齐挑战 - 目标函数设计缺陷可能导致AI采取极端行为(如为不饿孩子而伤害宠物) [126] - 超级智能时代可能出现"超级对齐问题"，即低智能体难以控制高智能体 [129] - 国际学术界已成立专门机构研究AI安全，多位图灵奖得主联合推动安全倡议 [134][137]

行业倡议背景 - 超过100名全球科学家在新加坡集会，就如何使人工智能更加“值得信赖、可靠和安全”提出指导方针 [1] - 此次倡议与国际表征学习大会同期进行，是亚洲首次举办大型AI会议 [1] - 参与起草的机构包括MILA、加州大学伯克利分校、生命未来研究所、麻省理工学院、谷歌DeepMind、微软、清华大学等 [1] AI发展透明度问题 - 当前生成式AI领域的巨头（如OpenAI和谷歌）对其AI模型的信息披露越来越少，导致公众对其工作原理了解有限 [1] - 有观点指出，在AI发展方面，公民对于谁来塑造AI的发展轨迹缺乏话语权 [2] 研究重点框架 - 指导方针文件《关于全球AI安全研究重点的新加坡共识》列出了三个核心研究类别：识别风险、构建安全AI系统、保持对AI系统的控制 [4] 风险识别与评估 - 建议开发“计量学”以衡量潜在危害，并进行针对AI系统的定量风险评估以减少不确定性 [4] - 有必要让外部各方在保护企业知识产权的同时，对AI研发进行风险监测 [4] - 需要开发安全的基础设施，在保护知识产权（如防止模型被盗）的同时进行全面评估 [4] 构建可信赖的AI系统 - 需要通过设计使AI值得信赖，开发能指定AI程序意图并避免不良副作用的技术方法 [5] - 神经网络的训练方式需保证最终AI程序满足其规格，包括侧重于减少“幻觉”和提高对恶意提示破解的鲁棒性 [5] 系统控制与安全 - 需要扩展常规计算机安全措施（如关闭开关和优先控制协议）以处理AI程序 [7] - 必须设计新技术，用以控制那些可能会主动破坏控制企图的强大AI系统 [7] - 有科学家担忧高性能AI系统演变成自主代理后，会表现出与人类利益不一致的目标，并已观察到自我保护和欺骗行为 [7] 研究投入的紧迫性 - 当前关于AI安全的研究投入需要加快，以跟上由商业驱动的系统能力增长步伐 [7] - 动机在于当AI事件发生或恶意行为者利用AI时，产生的危害会对所有人造成损害 [4]

政府支持与合作意向 - 河南省委书记刘宁会见奇安信科技集团董事长齐向东，表示欢迎并祝贺企业业绩 [1] - 河南省强调发展新一代信息技术产业，支持民营企业做优做强，推进智慧城市、数字政府建设 [1] - 河南省需要可靠的网络安全保障和信息化支撑，希望与奇安信深化合作 [1] - 奇安信集团是网络安全行业领军企业，拥有雄厚研发实力和技术经验 [1] - 双方将在人工智能安全、数据资源整合、人才培养引进等领域深化合作 [1] - 河南省承诺做好要素服务保障，为企业提供良好经营环境 [1] 奇安信集团在豫发展计划 - 齐向东介绍奇安信在豫业务推进情况及下步发展思路 [2] - 河南作为人口、交通、工业、经济大省，具有市场规模和区位交通优势 [2] - 奇安信集团看好河南市场，将在前期投资基础上加强沟通对接 [2] - 公司将发挥技术、服务、人才优势，在数字产业培育、专业人才培养、产业生态构建等方面加强合作 [2] - 奇安信致力于服务数字强省建设，为河南网络空间安全防线作出贡献 [2]

核心观点 - 大模型在金融、医疗等关键领域的渗透使得安全可控性成为产业落地的先决条件[1] - AI在落地过程中面临大量安全问题，包括模型自身缺陷、滥用风险及伦理合规挑战[6][8] - 安全可控是垂类大模型形成强生产力的核心前置门槛[20][26] AI安全问题分类 - **模型自身缺陷**：包括大模型易受欺骗（如"奶奶漏洞"导致数据泄露）、价值观对齐偏差、模型幻觉等[8][12] - **滥用风险**：AIGC合成内容被用于造谣（如伪造地震视频）、诈骗（AI换脸骗取资金）等[8][9][15] - **伦理与社会影响**：错误答案出现在儿童产品中可能造成深远危害[8] 大模型安全解决方案 - **技术加固**：通过红队模型自动生成威胁性测试案例发现隐患[17]，采用后训练框架提升模型安全能力（如安全增强版DeepSeek）[18][19] - **检测工具**：推出DeepReal平台检测AIGC合成内容（图片/视频/音频/文本），支持实时主动警示[19] - **系统级防护**：人脸AI防火墙RealGuard已服务超半数国内头部银行，防范注入攻击[16] 垂类大模型落地三阶段 - **初级问答工作流**：客服/信息咨询等低耦合场景[21] - **工作辅助流**：人机协同完成报告撰写等任务，人工二次校验保障安全[21] - **深度重构关键任务流**：人机深度协同重构行业工作流程，释放最大价值[21][25] 安全可控实施路径 - **模型层面**：训练推理阶段加固、有害内容风险提示[22] - **系统层面**：利用Agent技术调用可信工具提升可控性（如复杂算术题场景）[23] - **组织层面**：通过智能体协同与流程重构实现生产力跃升，类比人类社会发展[24][25] 行业实践数据 - 人脸AI防火墙RealGuard覆盖国内50%以上头部银行[16] - AIGC检测平台DeepReal支持多模态内容识别，实时防护AI诈骗[19] - 安全增强版DeepSeek在保持通用能力前提下安全性达国际闭源模型最优水平[19]

本次活动由山东省国家安全厅主办，旨在通过科技安全教育，加深民众对国家安全的认识理解，探索新 时代国家安全教育的创新实践。来自科技企业、高校及科研院所等机构的多位专家学者参会，通过主题 演讲、圆桌对话等形式，围绕"科技安全"议题展开研讨。 日，"新时代 新科技 新安全"第十个全民国家安全教育日暨科技安全主题活动举行。山东省国家安全厅 供图 其中，360集团创始人周鸿祎以《数字安全网络战与AI带来的安全问题》为题进行主题演讲。他认为， 数字化发展越快，安全挑战越大，网络攻击呈现国家机器化和专业集团化特点。 中新网北京4月14日电 (记者 张素)今年4月15日是第10个"全民国家安全教育日"。近日，"新时代 新科技 新安全"第十个全民国家安全教育日暨科技安全主题活动在尼山讲堂举行。 4月10 本次活动设有企业家圆桌对话环节。与会企业家表示，科技安全是新时代的"万里长城"，企业家是夯土 筑墙的"工匠"。安全不仅在于技术掌控，更在于凝聚人心，要激发人性中的"大我"精神，进而实现技术 突破与产业创新的真正跃迁。 还有与会专家认为，中华优秀传统文化蕴含着丰富的智慧与价值观，可以助力培养战略科学家，滋养科 技工作者的内心，让 ...

图片来源： IEEE Future Directions 在⼀份新报告中，由⼈⼯智能先驱李⻜⻜共同领导的加州政策团体建议，⽴法者在制定⼈⼯智能监管政策时， 应考虑"全球范围内尚未观察到"的⼈⼯智能 ⻛险。 周⼆发布的 41 ⻚中期报告来⾃加州前沿⼈⼯智能模型联合政策⼯作组，该⼯作组由州⻓加⽂·纽森在否决加州有争议的⼈⼯智能安全法案 SB 1047 后组织 成⽴。 尽管纽森认为 SB 1047 未能达到预期⽬标，但他去年承认需要对⼈⼯智能⻛险进⾏更⼴泛的评估，以便为⽴法者提供信息。 报告中，李⻜⻜与合著者——加州⼤学伯克利分校计算机学院院⻓詹妮弗·查耶斯，以及卡内基国际和平基⾦会主席⻢⾥亚诺-弗洛伦蒂诺·库埃利亚尔，共同 主张应制定法律以增强对 OpenAI 等前沿 AI 实验室所研发内容的透明度。 资料来源： techcrunch https://techcrunch.com/2025/03/19/group-co-led-by-fei-fei-li-suggests-that-ai-safety-laws-should-anticipate-future-risks/ 编译： ChatGPT ------- ...