瞭望 | 上海设立人工智能安全护栏
政策创新与制度建设 - 《上海市促进人工智能产业发展条例》设立"激发创新活力"条款,为探索阶段的新业态提供制度试错空间 [1][3] - 条例设立轻微违法行为免罚清单,解决科研人员边界不明确问题 [3] - 上海相继出台《推动人工智能大模型创新发展若干措施》等配套政策,2023年国务院要求建立AI伦理道德和治理框架 [3] 企业治理实践 - 商汤科技发布SenseTrust治理平台,数据有毒检测率超95%,偏见识别和对抗样本检出率达98% [7] - MiniMax采用线性注意力机制混合MoE架构降低幻觉率,研发安全审核模型进行内容过滤 [8] - 腾讯、蚂蚁集团成立AI伦理委员会,百度构建可信AI技术体系参与全球规则对话 [1][8] 技术治理进展 - 截至2025年6月上海完成82款大模型备案和95款生成式AI应用登记 [5] - 微软亚洲研究院开发"价值观罗盘",将人类伦理转化为机器参数 [9] - 行业提出"AI治理AI"模式,利用技术能力赋能治理工具研发 [9] 人才培养机制 - 上海交通大学开设"人工智能治理与法律"微专业 [10] - 复旦大学联合多校建设"AI+X"微专业项目,培养跨学科人才 [10] - AI企业同时具备技术和社会科学背景的治理人才占比不足 [9] 行业认知与挑战 - 人工智能治理适用"木桶原理",需政策、技术、伦理三位一体 [1][10] - 现有治理手段对多模态模型和AGI存在适配性不足风险 [9] - 价值观对齐和算法公平性等领域缺乏复合型人才 [9]