文章核心观点 - 中国发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,旨在系统强化拟人化互动服务的安全能力,以应对技术进步带来的新风险,并持续推进人工智能安全治理体系的完善,为产业健康发展提供坚实保障 [1][8][12] 拟人化互动服务的风险特征 - 情感交互具有深度性,算法能模拟人类情感反应,与用户建立情感联结,对用户心理状态和行为模式产生深层次影响 [2] - 用户关系具有持续性,涉及长期高频交互,可能建立类似人际关系的情感纽带,使潜在风险不断累积放大 [2] - 影响对象具有脆弱性,未成年人和老年人等群体在使用时更需要引导和保护机制,以防过度依赖 [2] - 价值传递具有隐蔽性,交互过程中价值观传递更隐蔽和潜移默化,对用户世界观、人生观、价值观的影响更为深远 [2] 《办法》的治理框架与关键措施 - 坚持正向引导与风险防范并重,鼓励在合理场景创新应用,同时明确划定安全红线,严禁危害国家安全、破坏伦理道德、诱导不合理决策等服务 [3] - 建立覆盖算法机制审核、科技伦理审查等环节的全生命周期安全管理制度,要求安全措施在服务设计、运行、升级、终止各阶段同步落实 [3] - 强化训练数据质量管控与安全对齐要求,提出评估合成数据安全性,防止放大数据偏差和产生危险“幻觉”输出,在情感陪伴等场景要求提高数据多样性并采用负向采样等手段提升模型安全性 [4][5] - 构建智能化风险识别与分级提示机制,要求建立用户状态识别和风险预警机制,对出现负面情绪、极端倾向等风险信号及时干预,对表达自杀自残倾向的用户立即进行人工接管并提供帮助 [6] - 创新引入监管沙箱机制,为技术先进但未完全成熟的服务在限定范围和群体内开展试点应用提供制度化的试验空间,以降低创新试错成本并完善治理规则 [7] 《办法》的宏观意义与影响 - 进一步完善人工智能安全治理技术体系,与现有规章共同构成系统完备的制度体系,治理视角从“内容安全”拓展到“情感安全”,从“真实准确”延伸到“正确导向” [9] - 切实维护人民群众使用人工智能的根本安全,通过强提示机制、底线要求、算法对齐和群体保护等措施,从技术安全延伸到心理安全,进行全方位保护 [10] - 为“人工智能+”战略深入实施提供有力安全保障,通过明确方向、划定边界和创新治理机制,为拟人化互动服务在教育培训、医疗健康等领域的规范健康发展创造良好环境 [11][12]
《办法》:人工智能严禁利用用户心理脆弱状态诱导其作出不合理决策
新浪财经·2025-12-27 19:31