AI生成内容治理

搜索文档
当谣言搭上“AI”的东风
腾讯研究院· 2025-06-12 16:22
AI标识制度的治理价值与挑战 核心观点 - AI标识制度作为应对AI生成虚假信息"更多更真"挑战的前端治理工具,具有提升识别效率与用户警觉的技术潜力,但存在易规避、伪造及误判等局限性,需与现有内容治理体系协同[1][3][10] 分章节总结 一、AI新技术与治理老难题 - **更易**:AI大幅降低虚假内容生成门槛,非专业用户可通过粘贴关键词生成高真实感文章牟利[3] - **更多**:技术实现虚假信息批量化生产,如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[3] - **更真**:多模态细节增强迷惑性,如"西安市鄠邑区地下出热水"谣言因包含视觉要素难以辨别[3] 二、AI标识的治理价值与自身局限 (一)理论优势 - **隐式标识**:通过元数据嵌入实现早期识别,提升对"低门槛""大批量"内容的治理效率[6] - **显式标识**:研究显示标注"AI生成"可使4976名受试者对内容的信任度下降,分享意愿降低[6] - **适用范围限定**:聚焦易引发混淆误认的高风险领域,避免过度标识导致信息过载[7] (二)实践局限 - **技术短板**:开源模型(如Stable Diffusion)水印可被移除,攻击者可伪造或规避标识[8][9] - **误判风险**:传统文本检测方法误判《滕王阁序》为"AI率100%",技术改进无法完全消除误差[9] - **成本挑战**:嵌套水印验证所需计算资源可能超过生成成本,检测过程效率低下[9] 三、AI标识的优化应用路径 - **体系协同**:将标识作为现有治理体系的补充工具,重点防范谣言、虚假宣传等高风险场景[11][12] - **责任划分**:生成平台需承担主要标识责任,传播平台检测难度较高需包容性治理[14] - **风险分级**:对低风险领域(如B端数据合成)采取豁免政策,与欧盟《人工智能法案》理念一致[13] 行业影响与数据参考 - **舆情案例**:2024年国内50个AI风险案例中,超1/5(20%)涉及AI造谣[1] - **技术应用**:广告素材生产、教育培训方案等领域正从"千人千面"向"一人千面"升级[7] - **法律基础**:《民法典》《广告法》等为AI内容违法行为提供执法依据[12]