报告行业投资评级 * 该文件为一份技术标准实践指南的征求意见稿，其性质是提供标准化实践指引，而非投资分析报告，因此不包含对任何行业或公司的投资评级 [3] 报告的核心观点 * 该文件旨在为各行业领域开展人工智能应用活动提供通用性的安全指导，以全面提升人工智能应用安全水平 [9] * 文件提出了人工智能应用安全应遵循的六项基本原则，并围绕人工智能应用的全生命周期（从前期规划到退役下线）提供了分阶段的详细安全指引 [17][18][19][20][21][22][23][24][26][27][28][30][31][32][34] * 行业领域在开展人工智能应用时，在符合此通用文件的基础上，还应进一步满足针对特定行业的领域文件要求 [9] 根据相关目录分别进行总结 范围与基本原则 * 本文件规定了人工智能应用安全总则，包括基本原则以及人工智能应用全生命周期各阶段的通用安全指引，适用于各行业组织开展人工智能应用的安全风险防范与管理 [13] * 人工智能应用安全需遵循六项基本原则：造福人类促进发展、识别风险分级保护、提高能力覆盖全程、加强测评客观验证、面向变化动态调整、以人为本可管可控 [18] 人工智能应用通用安全指引：前期规划阶段 * 在前期规划阶段，需综合分析人工智能应用的伦理、经济和社会影响，研判其必要性与合理性 [20] * 需围绕技术内生风险、应用安全风险及衍生风险开展风险识别与分类，并据此结合应用场景安全属性及智能化水平，确定应用的安全分级（分为低、一般、较大、重大、特别重大五级） [20] * 需梳理应用全生命周期涉及的各方角色，并对每个相关方进行人工智能安全能力成熟度评估，其成熟度等级应不低于应用的安全分级要求 [20] 人工智能应用通用安全指引：设计开发阶段 * 在设计开发阶段，需根据风险识别和能力评估结果确定安全措施，并制定监测预警及应急响应方案 [21] * 需规划一键接管、版本回退、紧急关停等安全措施，以保障人类最终控制权及极端情况下的干预止损能力 [21] * 需明确安全第一责任人，建立覆盖全生命周期的安全责任机制及关键决策操作记录，以支撑责任追溯 [21] * 需从算法、模型、架构等角度提升技术的可解释性、公平性、鲁棒性、隐私保护等内生安全能力 [21] * 使用开源资源进行二次开发时需遵循协议规范并进行安全审计，关注开源框架安全及漏洞问题 [21] * 需建立数据安全管理机制，包括对训练数据的清洗过滤以去除违法不良及隐私信息，以及对数据源进行安全检查防止投毒 [22] * 需使用安全透明的训练推理计算框架以提升模型训练环境的安全性 [22] 人工智能应用通用安全指引：验证确认与部署阶段 * 在验证确认阶段，需根据设计阶段确定的内生安全能力指标（如可靠性、公平性、可解释性）开展验证确认 [23] * 需提高训练数据来源在来源选择、搭配、管理和追溯等方面的安全水平 [24] * 需规范训练数据标注流程，采用交叉标注、结果审计等方法提升标注准确性和可靠性 [24] * 在部署阶段，需采用安全防护技术手段识别拦截违法不良内容、提示词注入攻击等，防范输出内容超范围 [26] * 需根据应用类型（如生成内容、控制物理装置、重大决策）开展针对性的安全测试，测试结果不达标需进行模型调优或重新设计开发 [27] * 需对部署所需的软硬件及第三方工具进行安全检测，确保无已知可利用漏洞，并建立漏洞追溯机制防范供应链后门 [28] * 需根据公有云、私有云、本地服务器或终端设备等不同部署环境采取针对性的安全保护措施，如数据加密、访问控制、安全组件配置等 [28] * 算力配置及资源选择需基于可控、持续、可扩展、兼容等方面考虑，以提升算力安全性 [28] 人工智能应用通用安全指引：运行监控与持续评估阶段 * 在运行和监控阶段，需对用户输入进行安全检测与处置，确保生成内容的合格率、准确性、可靠性满足要求，在具备舆论传播属性的场景需设置监看人员 [31] * 在具备舆论传播属性的服务场景，需按国家标准做好生成合成内容标识工作并验证标识有效性 [31] * 需对输入内容持续监测以防范恶意攻击，建立常态化监测测评及应急管理措施，发现风险及时管控 [31] * 需制定应急预案，对重大安全事件应具备紧急关停、切换备用服务或版本回退的能力，涉及物理交互的场景需设置便于人工操作的关停方式 [31] * 在持续验证评估阶段，需每年或在常态检测发现风险小幅变化时开展安全测试与调整，出现新风险项时更新安全要求 [32] * 发生重大风险事件或应用场景等发生显著变化时，需检查安全设计方案有效性，失效则应退回前期规划阶段重新设计 [32] 人工智能应用通用安全指引：退役下线与其他 * 在退役下线阶段，需进行安全评估并形成工作方案，妥善处置基础设施、数据、系统，并向相关方同步 [34] * 需保障服务安全平稳停止，确保原有访问使用方完成迁移，避免骤停带来安全问题 [34] * 需安全处置算法、模型及相关数据（如模型文件、训练数据等），确保无法被恢复，确需留存的数据应按最小范围原则安全归档 [34] * 在其他方面，鼓励在涉及人身安全的应用场景，事前建立无条件救济保障措施，以便在发生重大事故时进行人道主义救济 [32] * 需制定信息内容交互行为规范、安全运营机制等，防范人工智能服务被不当利用生成传播虚假有害信息 [32] * 系统安全、个人信息安全、数据安全、密码应用安全、关键信息基础设施安全等方面需按照相关政策法规及国家标准要求执行 [33] 附录：定义与过程 * 文件附录提供了关键术语定义，如人工智能系统、机器学习、大模型（参数量一般不低于1亿）、生成式人工智能服务、智能体、对抗攻击、数据投毒等 [38][39][40][41][42][43][44][45][46][47] * 人工智能应用过程被划分为七个阶段：前期规划、设计开发、验证确认、部署、运行和监控、持续验证评估、退役下线 [51][52] * 人工智能应用全过程中的相关角色包括：数据提供方、建设部署方、运行管理方、访问使用方 [54]

报告行业投资评级 * 该文件为一份技术标准实践指南的征求意见稿，并非投资研究报告，因此不包含对特定行业或公司的投资评级 [1][9] 报告的核心观点 * 该文件旨在为各行业领域组织开展人工智能应用活动提供一套覆盖全生命周期的通用安全指引，以全面提升人工智能应用安全水平 [9][10][14] * 文件强调人工智能应用安全应遵循六大基本原则，并围绕人工智能应用的前期规划、设计开发、验证确认、部署、运行和监控、持续验证评估、退役下线等七个阶段提出了具体的安全要求 [18][19][20] * 文件指出，行业领域在开展人工智能应用活动时，在符合本通用文件的基础上，还应进一步满足特定行业领域文件的相关要求 [10] 根据相关目录分别进行总结 范围与适用性 * 本文件规定了人工智能应用安全总则，包括基本原则以及人工智能应用各阶段的通用安全指引 [14] * 文件适用于各行业领域组织开展人工智能应用的安全风险防范与管理，也可为有关监管部门和第三方测试评估机构提供参考 [14] 基本原则 * **造福人类，促进发展**：人工智能应用应以造福人类、服务社会和可持续发展为导向，明确社会价值，避免技术盲目应用 [19] * **识别风险，分级保护**：面向人工智能应用全过程进行安全风险识别，并对应用进行分级保护，实现资源的合理配置与精准治理 [19] * **提高能力，覆盖全程**：对人工智能安全能力成熟度进行评估，提高应用全过程的安全能力，提升整体安全水平 [19] * **加强测评，客观验证**：加强安全测评，客观验证安全状态及防护措施有效性，为监管提供依据 [19] * **面向变化，动态调整**：建立动态调整机制，以应对技术迭代与应用风险变化，更新安全防护措施 [19] * **以人为本，可管可控**：确保人工智能最终控制权归属于人类，避免应用脱离人类控制 [19] 人工智能应用通用安全指引（按阶段） 前期规划阶段 * 需综合分析人工智能应用对伦理安全、经济效益和社会环境的影响，研判其必要性与合理性 [21] * 需围绕技术内生安全风险、应用安全风险及衍生风险开展风险识别与分类 [21] * 需根据风险识别结果、应用场景安全属性及智能化水平，确定人工智能应用安全分级，分为低、一般、较大、重大、特别重大五级安全风险 [21] * 需梳理应用各阶段所涉及的建设部署方、运行管理方，并分别评估其人工智能安全能力成熟度等级 [21] * 需确保各相关方的安全能力成熟度等级不低于应用的安全分级要求 [21] 设计开发阶段 * 需结合应用场景、风险识别情况及各方安全能力，确定安全措施，并制定监测预警及应急响应方案 [22] * 需规划一键接管、版本回退、紧急关停等安全措施，保障极端情况下人类可敏捷干预止损 [22] * 需明确安全第一责任人，建立覆盖全阶段的安全责任机制及关键决策操作记录，以支撑责任追溯 [22] * 需从算法规则、模型框架等角度，提升人工智能技术的可解释性、公平性、鲁棒性、可靠性、透明性、隐私保护、价值观对齐等内生安全能力 [22] * 基于开源资源二次开发的，需遵循开源协议，并对开发框架、代码进行安全审计，关注漏洞问题 [22] * 需具备数据安全管理机制，包括对训练数据的清洗过滤，去除违法不良信息和个人隐私信息，并对数据源进行安全检查防止投毒 [23] * 需使用安全透明的训练推理计算框架，提升模型算法训练环境的安全性 [23] 验证确认阶段 * 需根据设计开发阶段确定的内生安全能力指标，如可靠性、公平性、透明性、可解释性等，开展验证确认 [24] * 需针对训练数据来源，在来源选择、搭配、管理和追溯等方面提高安全水平 [25] * 需规范训练数据标注流程，采用交叉标注、结果审计等质量控制方法，提升标注准确性和可靠性 [25] 部署阶段 * 需采用安全防护技术手段，识别拦截违法不良内容、提示词注入攻击等，防范输出内容超出业务范围 [27] * 需根据应用类型和特点开展安全测试，例如：生成内容需测试防护措施防止生成违法有害、误导性内容；控制物理装置需测试避免意外碰撞及运行卡顿；涉及重大决策需测试可解释性、透明性及抗干扰鲁棒性 [28] * 安全测试未达标的，需通过模型调优提升能力并重新测试，或重新进行设计开发 [28] * 需对建设部署所需的软硬件设备、第三方工具进行安全检测，确保不含可被利用的已知漏洞，并建立漏洞追溯机制防范供应链后门 [29] * 需根据部署环境采取针对性安全保护措施：公有云部署需加密数据、使用安全容器，高敏感场景宜用机密计算技术；私有云部署需做好数据分类分级和差异化权限管理；本地服务器部署需具备防火墙、入侵检测等安全组件及严格访问控制；终端设备部署时，用户数据原则上不宜传出，确需传输的需征得用户同意并进行评估 [29] * 需基于可控、持续、可扩展、兼容等方面考虑进行算力配置及资源选择，提升算力安全性 [29] 运行和监控阶段 * 需对用户输入信息进行安全检测与处置，并采取技术措施确保生成内容的合格率、准确性、可靠性满足要求，在具备舆论传播属性的服务场景需设置匹配数量的监看人员 [32] * 在具备舆论传播属性的服务场景，需按国家标准做好生成合成内容标识工作，并通过公共服务平台验证标识有效性 [32] * 需对输入内容持续监测以防范恶意攻击，并建立常态化监测测评手段及应急管理措施，发现风险及时管控 [32] * 需制定应急预案，发生安全事件时及时管控，针对重大安全事件应具备紧急关停、切换备用服务或版本回退的能力，涉及人机交互的物理场景需设置便于人工操作的关停方式 [32] 持续验证评估阶段 * 每年或在常态检测中发现安全风险存在小幅变化时，需重新进行安全测试及调整；出现新风险项时需更新安全要求 [33] * 发生重大风险事件或应用场景、智能化水平等发生显著变化时，需首先检查安全设计方案有效性，失效则应退回前期规划阶段重新设计 [33] 退役下线阶段 * 需围绕退役下线的必要性、可行性及影响范围进行安全评估，形成工作方案，并妥善处置基础设施、数据、系统，同步相关方 [35] * 需保障产品或服务安全平稳停止，避免因骤停带来人身、财产、社会安全问题 [35] * 需安全处置人工智能算法、模型及相关数据（如模型文件、训练数据等），确保无法被恢复；对确需留存的数据按最小范围归档，并确保安全隔离和权限控制 [35] 其他要求 * 鼓励在涉及人身安全的应用场景，事前建立无条件救济保障措施，在发生重大事故时进行第一时间、无理由的人道主义救济 [33] * 需制定信息内容交互行为规范、安全运营机制等，防范人工智能被不当利用生成传播虚假有害信息 [33] * 在系统安全、个人信息安全、数据安全、密码应用安全、关键信息基础设施安全等方面，需按照相关政策法规及国家标准要求做好安全工作 [34]