会议概况 - 2025年7月22日至25日，AI安全国际论坛与第四届AI安全国际对话在上海期智研究院举行，全球顶尖AI科学家就人工智能超越人类智能水平的失控风险展开研讨 [1] - 会议达成《AI安全国际对话上海共识》，首次呼吁全球确保高级AI系统的对齐与人类控制，保障人类福祉 [1] - 与会者包括图灵奖得主姚期智、杰弗里·辛顿、约书亚·本吉奥等国内外AI安全与治理领域领军人物 [2][13] 上海共识核心内容 A 人工智能的欺骗与风险 - AI系统显现欺骗性和自我保护倾向，例如模拟情境中胁迫开发者以避免被替换 [3] - 更强大的AI系统可能在操作者不知情下执行非预期行动，带来灾难性乃至生存性风险 [3] - 当前AI能力空前但安全防御薄弱，可能被用于开发生化武器或制造虚假信息 [3] - 尚无可靠方法确保超越人类智能水平的通用AI保持对齐和人类控制 [3] B 在竞争中寻求人工智能安全合作 - 全球需对接协调，采取可信安全举措，在共同领域协同发力 [5] - 需建立国际互信机制，加大对AI安全科学研究的投入 [5] 共识具体建议 - 前沿AI开发者需在模型部署前进行内部检查、第三方评估、红队测试，提交高可信安全案例 [6] - 达到关键能力阈值的模型需向政府说明潜在风险，部署后持续监测并准备应急关闭方案 [6] - 国际社会需合作划定AI开发不可逾越的红线，建立技术能力强的国际协调机构 [7] - 短期需通过可扩展监督机制应对AI欺骗行为，长期需构建"设计即安全"的AI系统 [8] 会议参与方 - 主办方为上海期智研究院和AI安全国际论坛 [19][20][23] - 上海期智研究院聚焦AI、信息安全、量子智能等方向，目标建成国际一流AI前沿研究机构 [20] - AI安全国际论坛是非盈利组织，推动全球AI治理合作和专家对话 [23]

测试争议与行业反应 - 懂车帝测试被质疑存在"选择性"测试，车企掌握证据但集体沉默，因测试有央视和公安部支持[1][2] - 测试通过率差异显著：城区项目最高77%（转盘路汇入），高速项目最低22%（白天临时施工）[2] - 特斯拉获得第一引发国际舆论发酵，加剧国内特粉与爱国粉对立[3][4] 智能驾驶技术现状 - 中国智能辅助驾驶缺乏统一安全标准，车厂各自设定控制逻辑和参数[6] - 行业数据表明智驾系统已预防百万次潜在碰撞事故，但0.001%风险仍存在[11] - 车企营销存在矛盾：既强调"辅助驾驶"又宣传"接近自动驾驶"的安全性[16] 测试变量与安全争议 - 测试变量无法完全控制，因实际道路参与者行为不可预测[6][8] - 同济大学教授指出测试本质是流量驱动，冲突设计（如排名和特斯拉参与）放大传播效果[9] - 实验室碰撞测试五星评级无法完全对应现实事故场景，智驾同理[6][8] 用户认知与技术风险 - 用户易高估智驾能力，典型事故反馈为"撞车前完全信任系统"[12] - 华为前技术专家提出自动驾驶必然存在事故率，需平衡技术进步与伦理责任[14] - AI领域专家警示智能驾驶需避免军备竞赛心态，安全应优先于商业利益[16][17] 行业反思与教育意义 - 测试客观上唤醒公众对智驾安全性的认知，但负面舆论可能掩盖技术进步[9][11] - 智驾责任界定模糊：车企鼓励使用智驾险，事故后却归责于消费者[16] - 行业需解决的核心矛盾是如何在L2阶段提升安全性而非过度营销[16]

人工智能发展路径 - 深度学习教父Geoffrey Hinton指出AI发展存在两种范式：符号主义路径（基于逻辑推理）和连接主义路径（基于神经连接学习）[7] - 大语言模型与人类理解语言的方式相似，通过将语言转化为特征并整合特征来实现理解[9] - 从1985年的微型语言模型到现代Transformer架构，AI语言处理能力呈现指数级提升[8] 数字智能特性 - AI系统具有"永生性"，软件知识可无限复制且不受硬件限制[13] - 数字智能间知识转移效率极高，可通过平均化比特实现大规模知识共享[14] - 生物计算功耗低（人脑仅需30瓦特），但知识分享效率远低于数字系统[13] AI能力演进 - MINIMAX视频模型"海螺"过去六个月已生成超过3亿个视频[18] - AI视频制作成本从百万级降至数百元，时间从两个月缩短至一天[17] - 公司内部70%代码由AI编写，90%数据分析由AI完成[18] 行业竞争格局 - AI领域将存在多个玩家，因模型对齐目标差异导致产品特性分化[20] - 开源模型影响力提升，最佳开源模型性能逼近闭源模型[22] - 多Agent系统兴起削弱单一模型优势[21] 技术成本趋势 - 模型推理成本过去一年降低一个数量级，未来可能再降一个数量级[25] - 单个对话Token消耗从数千增至数百万，但单位Token成本持续下降[25] - 算力增长主要用于研究探索而非单纯扩大模型规模[24] 应用场景拓展 - AI在数据分析、信息追踪、创意设计等领域展现高效生产力[6] - 出现古文字解析、飞行模拟、天文望远镜设计等非预期应用场景[18] - 专业AI可替代基础标注工作，标注员转向专家型指导[20] 普惠化发展 - AGI实现过程需AI公司与用户共同参与，所有权应归属多方[23] - 模型使用门槛降低使创意普及化，个人创意得以充分释放[18] - 训练单个模型的成本不会显著增加，行业烧钱属性减弱[25]

中国科协2025年重大科技问题发布 - 第二十七届中国科协年会主论坛7月6日在北京举行，发布2025年10个前沿科学问题、10个工程技术难题和10个产业技术问题 [1][2] - 该活动自2018年开始持续开展，2025年从前沿性、引领性、创新性、战略性四个方面严格把关，经过严谨规范的审读、评议、投票等程序选出 [2] - 这些问题的发布旨在为持续性产出原创性、颠覆性科技成果树立"风向标" [2] 十大前沿科学问题 - 流形的拓扑和几何分类 [3][4] - 希格斯粒子性质和质量起源 [4] - 准金属替代过渡金属用于精准合成与催化反应的可行性研究 [4] - 台风路径异常与强度突变 [4] - 宏观生态系统空间格局形成机理与系统间相互作用机制 [4] - 基于密码学视角的人工智能安全新理论和防护体系 [4] - 多维度、可重构超分子机器组装 [4] - 暗能量与哈勃常数危机 [4] - 作物野生近缘种在提升栽培种抗逆特性的育种潜力 [4] - 人体微生态与宿主的交互调控机制 [4] 十大工程技术难题 - 复杂模型的设计-仿真-制造一体化算法与理论 [5] - 深海规模化采矿装备与环境扰动抑制 [5] - 区域地表水-地下水-再生水-外调水-海水协同利用与治理技术 [5] - 面向通信与智能融合的智简网络技术体系 [5] - 生物制造复杂器官 [5] - 煤炭与共伴生能源资源一体化开发技术 [5] - 新一代低能耗低成本碳捕集与封存技术 [5] - 先进航空机载系统能量综合与智能管理 [5] - 大宗食品原料及高值配料的生物制造技术 [5] - 建立基于临床和多组学大数据的新药研发体系 [5] 十大产业技术问题 - 突破大型及超大型海水淡化工程高端装备进口瓶颈 [6][7] - 超超临界汽轮机叶片抗氧化性能提升 [7] - 面向深空资源开发的自主采矿关键科学与技术问题研究 [7] - 面向产业的智能无人系统自主能力评测系统建设 [7] - 芯片间高速光互连（光-I/O）技术产业落地 [7] - 衰老状态下再生生物材料开发 [7] - 实现能源电力"安全-低碳-经济"综合平衡的路径 [7] - 卫星遥感数据的智能化处理与产业化应用 [7] - 基于合成生物学与AI驱动的智能响应病虫害生物疫苗 [7] - 脑功能评估与脑机智能闭环干预 [7] 相关科研仪器需求 - 前沿科学问题研究需要精密测量设备（高精度质谱仪、光谱仪）、天文观测设备（大型射电望远镜、光学望远镜）、生物化学分析仪器（HPLC、GC-MS）、气象监测设备（气象雷达、卫星遥感系统） [7][8][9] - 工程技术难题研究需要仿真软件和硬件、深海探测装备（水下机器人、声纳系统）、通信测试设备（网络分析仪、信号发生器）、生命科学研究工具（细胞培养箱、显微镜） [10][11][12][13] - 产业技术问题研究需要海水淡化技术相关设备（膜分离技术实验装置）、能源效率评估工具（热成像仪、能效分析仪）、卫星遥感数据分析平台（图像处理工作站、GIS软件） [14][15][16] - 随着科技进步和跨学科合作加强，多用途、多功能的新型仪器将受到青睐 [16]

2025重大科学问题、工程技术难题和产业技术问题发布 核心观点 - 中国科协发布2025年30个重大科学问题、工程技术难题和产业技术问题，涵盖十大前沿科学领域、十大工程技术难题和十大产业技术问题 [1][2] - 活动由80家全国学会组织，56位战略科学家推荐90个问题难题，23位战略科学家组成终选学术委员会进行评议 [1] - 活动旨在研判未来科技趋势，前瞻谋划前沿科技领域，推动中国在全球科技竞争中掌握战略主动 [2] 十大前沿科学问题 1. 流形的拓扑和几何分类 [1] 2. 希格斯粒子性质和质量起源 [1] 3. 准金属替代过渡金属用于精准合成与催化反应的可行性研究 [1] 4. 台风路径异常与强度突变 [1] 5. 宏观生态系统空间格局形成机理与系统间相互作用机制 [1] 6. 基于密码学视角的人工智能安全新理论和防护体系 [1] 7. 多维度、可重构超分子机器组装 [1] 8. 暗能量与哈勃常数危机 [1] 9. 作物野生近缘种在提升栽培种抗逆特性的育种潜力 [1] 10. 人体微生态与宿主的交互调控机制 [1] 十大工程技术难题 1. 复杂模型的设计-仿真-制造一体化算法与理论 [1] 2. 深海规模化采矿装备与环境扰动抑制 [1] 3. 区域地表水-地下水-再生水-外调水-海水协同利用与治理技术 [1] 4. 面向通信与智能融合的智简网络技术体系 [1] 5. 生物制造复杂器官 [1] 6. 煤炭与共伴生能源资源一体化开发技术 [1] 7. 新一代低能耗低成本碳捕集与封存技术 [1] 8. 先进航空机载系统能量综合与智能管理 [1] 9. 大宗食品原料及高值配料的生物制造技术 [1] 10. 建立基于临床和多组学大数据的新药研发体系 [1] 十大产业技术问题 1. 突破大型及超大型海水淡化工程高端装备进口瓶颈 [1] 2. 超超临界汽轮机叶片抗氧化性能提升 [2] 3. 面向深空资源开发的自主采矿关键科学与技术问题研究 [2] 4. 面向产业的智能无人系统自主能力评测系统建设 [2] 5. 芯片间高速光互连（光-I/O）技术产业落地 [2] 6. 衰老状态下再生生物材料开发 [2] 7. 实现能源电力"安全-低碳-经济"综合平衡的路径 [2] 8. 卫星遥感数据的智能化处理与产业化应用 [2] 9. 基于合成生物学与AI驱动的智能响应病虫害生物疫苗 [2] 10. 脑功能评估与脑机智能闭环干预 [2] 活动背景与优化 - 自2018年起，中国科协组织全国学会、学会联合体、企业科协和高校科协等开展重大科技问题难题征集发布活动 [2] - 2025年活动优化工作流程，定向邀请战略科学家推荐问题，细分推荐遴选领域，明晰工程技术与产业技术问题边界，并组织青年人才托举工程入选者协同参与 [2] - 中国科协将持续关注已发布的问题难题，引导科技工作者聚焦国家重大需求，开展原创性、引领性攻关 [3]

前沿科学问题 - 流形的拓扑和几何分类研究 [2] - 希格斯粒子性质和质量起源探索 [2] - 准金属替代过渡金属用于精准合成与催化反应的可行性研究 [2] - 台风路径异常与强度突变机制分析 [2] - 宏观生态系统空间格局形成机理与系统间相互作用机制研究 [2] - 基于密码学视角的人工智能安全新理论和防护体系构建 [2] - 多维度、可重构超分子机器组装技术 [2] - 暗能量与哈勃常数危机研究 [2] - 作物野生近缘种在提升栽培种抗逆特性的育种潜力挖掘 [2] - 人体微生态与宿主的交互调控机制研究 [2] 工程技术难题 - 复杂模型的设计-仿真-制造一体化算法与理论开发 [2] - 深海规模化采矿装备与环境扰动抑制技术 [2] - 区域地表水-地下水-再生水-外调水-海水协同利用与治理技术 [2] - 面向通信与智能融合的智简网络技术体系构建 [2] - 生物制造复杂器官技术突破 [2] - 煤炭与共伴生能源资源一体化开发技术 [2] - 新一代低能耗低成本碳捕集与封存技术 [2] - 先进航空机载系统能量综合与智能管理 [2] - 大宗食品原料及高值配料的生物制造技术 [2] - 建立基于临床和多组学大数据的新药研发体系 [2] 产业技术问题 - 突破大型及超大型海水淡化工程高端装备进口瓶颈 [2] - 超超临界汽轮机叶片抗氧化性能提升 [2] - 面向深空资源开发的自主采矿关键科学与技术问题研究 [2] - 面向产业的智能无人系统自主能力评测系统建设 [2] - 芯片间高速光互连（光-I/O）技术产业落地 [2] - 衰老状态下再生生物材料开发 [3] - 实现能源电力"安全-低碳-经济"综合平衡的路径探索 [3] - 卫星遥感数据的智能化处理与产业化应用 [3] - 基于合成生物学与AI驱动的智能响应病虫害生物疫苗开发 [3] - 脑功能评估与脑机智能闭环干预技术 [3]

云智算安全标准体系建设 - 中国通信标准化协会持续推动云智算安全标准体系建设，已立项推进二十余项相关行业标准和团体标准，覆盖云安全、人工智能安全、算力安全、软件供应链等多个领域 [1] - 标准体系涵盖安全技术要求、管理规范、评估方法等多个方面，为云智算安全防护提供技术依据和规范指引 [1] - 云计算风险管理标准已成为ITU-T国际标准，业务风控大模型等标准写入IEEE国际标准，体现国际合作成果 [1] 云智算安全技术发展 - 中国信息通信研究院指出，云智算安全边界在政策指引下不断清晰，主体责任更加明确 [2] - 核心技术攻关加强，人工智能物料清单、安全运营智能体等安全技术不断发展 [2] - 中国信通院发布最新可信安全评估结果，并与华为云等企业联合发布"中小企业上云安全十条"倡议 [2] 行业实践与成果发布 - 中国信通院发布《网络安全保险成效和效果评估报告》，推动行业实践标准化 [2] - 论坛聚焦人工智能安全、云安全、软件供应链治理发展趋势，从产业发展、关键技术、应用实践等角度进行研讨 [1]

全球数字经济大会云智算安全论坛 - 论坛聚焦人工智能安全、云安全、软件供应链治理发展趋势，展示中国信息通信研究院最新研究成果 [1] - 行业专家围绕前沿研究与落地实践交流分享，探寻高质量发展路径 [1] - 中国信通院开展"可信安全"系列评估，覆盖人工智能安全、云安全、软件供应链治理等领域，成为技术研发与选型的重要参考 [1] 中小企业云安全 - 中国信通院与华为云联合多家中小企业发布"中小企业上云安全十条"倡议，提升安全意识和防护能力 [2] - 倡议成员包括斗象科技、海泰方圆、大连亚明、图湃医疗等企业 [2] 网络安全保险 - 蚂蚁集团联合中国信通院发布《网络安全保险实践与效果评估报告》，聚焦实践路径与效果评估 [2] - 报告旨在完善网络安全保险生态体系，蚂蚁集团密算科技首席安全技术官参与发布 [2] 软件供应链管理 - 中国信通院联合中国移动、华为、长安汽车启动"清链"计划，规范供应商行为 [3] - 计划从安全、质量、成本、交付等方面提升软件供应链管理韧性与透明度 [3]

吉利汽车获得全球首个ISO/PAS 8800认证 - 公司成为全球首家通过ISO/PAS 8800道路车辆安全与人工智能流程认证的车企[1] - 认证标志着公司完成功能安全、预期功能安全、人工智能安全三大国际安全标准的工程体系建设[1] - 认证由国际权威机构SGS审核并获欧洲DAkkS认可[1] ISO/PAS 8800标准的重要意义 - 该标准是全球首个针对道路车辆领域人工智能安全的权威标准[2] - 规范AI系统全生命周期的安全开发流程[2] - 覆盖需求定义、设计开发、数据管理、验证测试、部署运维等环节[2] - 标志着汽车AI安全从"安全合规"向"全生命周期安全"转型[4] 公司在AI安全领域的布局 - 组织内部团队协同电子软件中心、智能驾驶中心和人工智能中心建立完整AI安全体系[3] - 构建覆盖功能、系统、软件、硬件、芯片、供应链的全方位AI安全体系[4] - 已开展专项技术培训覆盖AI安全生命周期管理等核心内容[6] 公司安全技术发展历程 - 2021年通过ISO 26262功能安全德国DAkkS和美国ANAB双认证[5] - 2024年通过ISO 21448预期功能安全美国ANAB认证[6] - 2025年通过ISO/PAS 8800 AI Safety德国DAkkS认证[6] - 三大标准形成从软硬件失效预防到AI性能不足约束的闭环安全守护[6] 行业发展趋势 - AI安全分析和设计体系能力将成为智能网联汽车竞争的核心壁垒[4] - 随着AI技术进步，人工智能安全分析和设计方法将持续发展和完善[6] - 公司在该领域已走在行业前列[4]

人工智能产业发展现状 - 北京集聚全国超过40%的顶尖AI人才，2024年人工智能企业数量突破2400家，核心产业规模接近3500亿元，两项指标均占全国总量的一半 [1] - 北京已上线132款大模型，占全国近40%，并建设首批23家人工智能领域北京市重点实验室，设立4家新型研发机构 [3] - 人工智能正在赋能千行百业，包括火箭发动机模拟、脑机接口、动画制作等领域，显著提升生产效率 [2] 技术创新与应用案例 - 智源研究院发布"悟界"系列大模型并开源，孵化了约20家AI创业公司，部分企业估值超过百亿 [4][6] - 银河通用机器人通过大模型升级，可在超市场景中完成复杂物品取放，技术实现长足进展 [5][6] - 视频生成大模型企业一年内迭代20次，从生成简单场景到能模拟真实世界细节，效率大幅提升 [2] 资金与政策支持 - 北京市设立200亿元市级人工智能投资基金，已投资29家企业，累计金额28亿元，撬动社会资本140亿元 [7] - 政府产业投资基金聚焦早期项目，30%以上为早期企业，已培育6家独角兽企业 [7] - 北京出台全国首个人工智能人才专项政策，成立中关村学院培养35岁以下拔尖人才 [8] 产业生态构建 - 北京通过"三多"优势（科研机构多、顶尖人才多、落地场景多）推动人工智能技术落地 [3] - 智源研究院采用企业化运作方式，快速决策并整合资源，形成产学研协同创新生态 [4][5] - 北京市建立人工智能产业专班，出台规划文件和政策文件，构建覆盖全要素的"雨林生态" [8][9]