人工智能安全风险与挑战 - 大模型面临的最大安全挑战是围绕提示词的各类安全攻击 [1] - 大模型可能生成违规内容、表达偏见立场或产生不恰当语言，导致合规风险和声誉损害 [2] - 通过精心设计的提示词可诱导模型越过安全边界，绕过安全限制回答敏感问题或提供受限信息 [2] - 模型训练数据可能包含版权、隐私和知识产权问题，生成内容涉及法律责任归属模糊 [2] - 模型回答存在随机性和不确定性，相同问题可能产生不一致结果，回答逻辑难以解释 [2] - 多模态模型处理多种输入时，跨模态安全边界不一致，可能导致单一模态防护被绕过 [2] - 引导模型执行过度计算和推理，可能触发资源密集型处理，导致服务响应延迟、成本爆炸和系统资源耗尽 [2] - 人工智能数据安全、算法偏见、模型幻觉、情感依赖、数据污染等问题尚未得到有效解决 [1][3] 人工智能技术发展趋势 - 2025年人工智能技术持续快速迭代创新，多项突破性进展正推动其能力边界不断扩展 [3] - 基础模型推理能力显著增强，通过构建统一的跨模态表征空间，实现图像、语音和文本等多模态应用 [3] - 智能体打通“感知、决策、行动”闭环，使模型从“语言生成器”向“任务执行者”转变 [3] - 具身智能驱动机器人实现高阶认知与自主学习 [3] - 人工智能与基础科学深度融合，在生物化学、医药研发等科研领域取得重大进展，驱动科研范式变革 [3] 人工智能治理现状与政策 - 人工智能安全治理相关问题已成为阻碍技术红利释放的掣肘 [3] - 人工智能技术的黑箱属性、应用的不确定性和产业链条的多样性给不同组织主体带来管理挑战 [4] - 人工智能风险的精准防控需要全产业协同推进，当前行业在核心治理环节普遍存在共建合力不足的问题 [4] - 2025年8月，国务院发布《关于深入实施“人工智能+”行动的意见》，指出要提升安全能力水平，防范模型的黑箱、幻觉、算法歧视等风险 [4] - 意见要求建立健全人工智能技术监测、风险预警、应急响应体系，加快形成动态敏捷、多元协同的人工智能治理格局 [4] - 2025年8月，工业和信息化部等部门联合发布《人工智能科技伦理管理服务办法（试行）（公开征求意见稿）》 [5] - 2025年12月，国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，首次针对“AI陪伴”类服务提出系统性规范 [5] 行业观点与治理框架 - 百度大模型安全产品总监表示，内容合规依旧是大模型的生命线 [1] - 中国信通院人工智能研究所安全治理部副主任认为，人工智能风险的精准防控并非单一企业能独立完成 [4] - 腾讯研究院高级研究员表示，在AI能力实现飞跃的同时，大众对AI的理解有所滞后，正在部署越来越强大的AI系统，却对其内部运作机制知之甚少 [5] - 大模型伦理和安全四大核心议题分别是：可解释性与透明度、价值对齐、安全治理框架、以及AI意识与福祉 [6] - AI可解释性实践还在襁褓阶段且处于快速发展中，应鼓励行业自律和“向上竞争” [6] - AI模型安全治理的未来，可以通过可解释性、价值对齐、安全治理政策等安全护栏和干预措施，让AI遵从人类价值 [6]