新团体标准发布:为未成年人用生成式AI服务,提供安全指引
南方都市报·2025-06-10 22:38
值得一提的是,针对使用对象多为未成年人的学习教育类模型,《指引》建议其重点建设具备科学性的 高质量训练数据集,充分过滤其中的错误知识内容。 在模型训练阶段,《指引》强调,重点防范生成有害内容与个人信息泄露风险,通过引入未成年人保护 评价机制,将生成内容安全性作为评价生成结果优劣的主要指标之一,建议在模型训练过程中引入保护 未成年人权益的安全原则,约束模型的输出符合伦理规范、减少偏见等。同时,通过对模型输出内容识 别和过滤,改写或去除有害内容,以确保其输出内容的安全性。 在场景应用阶段,《指引》提到,服务提供者宜采取有效技术防护措施和安全管理措施,保障服务内容 的安全性、可靠性和真实性。其中包括,结合不同场景生成内容诱导或引起未成年人效仿危险行为的风 险,并采取预警、风险提示、风险阻断等合理应对措施,特别是要警惕特殊应用场景风险——包括但不 限于娱乐场景未成年人沉迷、情感依恋等问题。 在服务运营阶段,《指引》就未成年人身份认证、未成年人模式、网络防沉迷、权限管理和消费管理等 方面提出建议。比如在消费管理机制上,《指引》指出,网络社交、网络游戏、网络直播、网络音视 频、在线教育等场景下的生成式人工智能服务所产生的 ...