AI标识制度

搜索文档
当谣言搭上“AI”的东风
36氪· 2025-06-12 17:09
AI标识制度的技术潜力与治理挑战 - AI标识制度展现出积极的技术潜力,可作为内容治理链条的重要前端支点,但仍存在技术短板需与现有治理体系协同[1] - 2024年国内AI风险舆情案例中超过1/5与AI造谣有关,2025年涉AI谣言如"西藏定日县地震"等频繁引发舆论关注[1][2] - AI合成换脸用于虚假宣传案件频发,如冒充明星带货、杜撰非遗传承人等违法牟利行为[3][4] AI生成内容放大治理难题的三大特征 - "更易":生成高度真实感内容门槛降低,中部某省村民通过AI模型批量生成热点文章获取流量收益[5] - "更多":技术实现虚假信息工业化生产,如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[2] - "更真":多模态信息增强迷惑性,如"西安市鄠邑区地下出热水"谣言因细节丰富难以辨别[6] AI标识制度的双重机制与责任体系 - 建立"显式标识+隐式标识"双重机制,显式标识降低内容可信度,隐式标识嵌入元数据实现机器识别[3] - 责任主体覆盖生成合成服务提供者、传播平台及用户全链条,生成平台需添加元数据标识,传播平台需核验标识[3] - 显式标识适用范围限定于易引起混淆误认的领域,避免过度标识导致信息过载[5] AI标识的理论效能与实践局限 - 隐式标识可将治理关口前移至生成阶段,提升识别效率应对"低门槛""大批量"挑战[4] - PNAS Nexus研究显示4976名受试者对标注"AI生成"的新闻标题信任度降低,分享意愿下降[8] - 技术存在"易规避"(开源模型水印可移除)、"易伪造"(模仿水印嵌入)、"易误判"(传统算法误判率高达100%)三大短板[9][12][13] AI标识与现有治理体系的协同路径 - 标识制度应聚焦高风险领域(谣言、虚假宣传),与举报删除、黑名单等现有措施协同[8] - 对低风险领域(B端应用、数据合成等)可探索多元治理路径,参考欧盟《人工智能法案》豁免条款[9] - 传播平台标识检测成本高于生成平台,需在责任界定中保持包容性,美国加州和欧盟法案均未强制传播平台担责[9]
当谣言搭上“AI”的东风
腾讯研究院· 2025-06-12 16:22
AI标识制度的治理价值与挑战 核心观点 - AI标识制度作为应对AI生成虚假信息"更多更真"挑战的前端治理工具,具有提升识别效率与用户警觉的技术潜力,但存在易规避、伪造及误判等局限性,需与现有内容治理体系协同[1][3][10] 分章节总结 一、AI新技术与治理老难题 - **更易**:AI大幅降低虚假内容生成门槛,非专业用户可通过粘贴关键词生成高真实感文章牟利[3] - **更多**:技术实现虚假信息批量化生产,如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[3] - **更真**:多模态细节增强迷惑性,如"西安市鄠邑区地下出热水"谣言因包含视觉要素难以辨别[3] 二、AI标识的治理价值与自身局限 (一)理论优势 - **隐式标识**:通过元数据嵌入实现早期识别,提升对"低门槛""大批量"内容的治理效率[6] - **显式标识**:研究显示标注"AI生成"可使4976名受试者对内容的信任度下降,分享意愿降低[6] - **适用范围限定**:聚焦易引发混淆误认的高风险领域,避免过度标识导致信息过载[7] (二)实践局限 - **技术短板**:开源模型(如Stable Diffusion)水印可被移除,攻击者可伪造或规避标识[8][9] - **误判风险**:传统文本检测方法误判《滕王阁序》为"AI率100%",技术改进无法完全消除误差[9] - **成本挑战**:嵌套水印验证所需计算资源可能超过生成成本,检测过程效率低下[9] 三、AI标识的优化应用路径 - **体系协同**:将标识作为现有治理体系的补充工具,重点防范谣言、虚假宣传等高风险场景[11][12] - **责任划分**:生成平台需承担主要标识责任,传播平台检测难度较高需包容性治理[14] - **风险分级**:对低风险领域(如B端数据合成)采取豁免政策,与欧盟《人工智能法案》理念一致[13] 行业影响与数据参考 - **舆情案例**:2024年国内50个AI风险案例中,超1/5(20%)涉及AI造谣[1] - **技术应用**:广告素材生产、教育培训方案等领域正从"千人千面"向"一人千面"升级[7] - **法律基础**:《民法典》《广告法》等为AI内容违法行为提供执法依据[12]