AI技术滥用风险 - 不法分子使用AI工具批量生成视听兼具的谣言视频以博眼球蹭热度、吸粉引流[1] - 通过多次优化提示词等手段弱化AI生成痕迹，使虚假信息迷惑性和诱导性更强[1] - 部分谣言背后已存在分工明确的灰色产业链[1] 行业治理与监管框架 - 《人工智能生成合成内容标识办法》于9月1日起施行，同时《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等规定已相继出台[2] - 下一步需继续填补法律空白，完善细化规范AI技术应用的法律法规并加强法规执行[2] - 相关监管部门应在延续已有网络虚假信息处理机制基础上进行重点监测[2] 产业链各方责任与措施 - 生成合成服务提供者需强化技术安全性和合规性，在算法设计阶段嵌入伦理约束并管理好训练语料，做到清晰标识[2] - 互联网应用程序分发平台需升级审核体系，提高对深度伪造内容的检测精度，并完善人工复核机制弥补算法短板[2] - 在信息生成到传播的全链条中，大模型开发者、互联网应用程序分发平台、使用者等都应各负其责[2]

行业背景与挑战 - 生成式人工智能和大语言模型在2023年底走红后，从业者预言AI将成为互联网虚假内容的“制造机” [1] - 不到两年时间，“AI污染互联网”已成为诸多网友的共识 [1] - AI生成内容与人类创作的界限模糊，其表达能力与人类极为接近，导致辨别困难 [8] - 互联网内容平台对AIGC持矛盾态度：既希望其实现内容多元化以丰富生态，又不愿看到低质量内容污染平台 [5] 平台治理措施 - 抖音上线“AI抖音求真”功能，当用户浏览易产生误解的内容或搜索谣言信息时，可获知完整信息和辟谣内容 [3] - 该功能依托抖音训练的“谣言治理大模型”和“资讯大模型”，以及专门的辟谣运营团队 [3] - 平台实现了精准定义“内容误导性”、“公共价值”、“可证伪”等谣言特征的能力，能主动审查达到一定热度的内容 [3] - 通过提取视频信息、分析主旨、联网搜索，完成对内容是否为谣言的风险判断 [3] - 抖音已将大模型技术应用于谣言治理，自7月以来平台谣言曝光量下降67% [3] 技术方案的局限性 - “AI抖音求真”并非万灵药，可能存在不准确、覆盖面不够完整的情况 [5] - 该功能对于以往存在的谣言类型有效，但对“新鲜事”和“新花样”可能力有未逮 [10] - 其效能主要依托于“谣言治理大模型”的迭代速度，需要跟上AI虚假内容的发展 [10] - 如果权威媒体没有报道相关内容，该功能只能给出“存疑”的判断 [10] - 此招在短时间内只能做到“治标不治本” [8] 创作者生态与平台政策 - 在百模大战初期，抖音、快手、知乎等内容平台已要求创作者主动添加“内容由AI生成”的声明 [5] - 但创作者普遍担心打上AI生成标签会导致作品被限流 [5] - 流量分成政策依然存在，使得当年做“内容农场”的人现在转向做“AI农场”以牟利 [8] - 平台无法取消流量分成，因为这会极大打击正常创作者的积极性 [8]

平台AI谣言治理举措 - 抖音上线"AI抖音求真"功能 针对误导性内容和谣言提供事实展示及澄清 [1] - 平台将大模型能力应用于谣言治理 实现"发现即管控" 一个季度内谣言曝光量下降67% [1] - 通过热点运营/辟谣账号运营/媒体辟谣团等方式打造辟谣内容生态 并向用户推出"辟谣卡"功能 [3] AI谣言特征与危害 - AI谣言具有门槛更低/传播更强/变异更频繁/更易跨平台扩散等特点 大幅提升网络防谣辟谣难度 [1] - 典型AI谣言包括"AI预测彩票中奖"/"老年人坐火车打折"/"地震小孩被埋图"等 歪曲政策/消解社会公平/侵蚀社会信任 [1] - AI谣言滋生灰黑利益链 导致相关部门和机构需频繁发声辟谣 [1] 治理模式升级 - 治理模式从被动转为主动 从"点"的治理转向"面"的升级 技术工具日益丰富 [3] - 大模型应用于谣言识别/研判/处置 极大提升识别能力和处置效率 [3] - 平台通过技术篱笆完善履行信息"守门人"责任 有利于涵养清朗健康的内容生态 [2] 协同治理需求 - AI谣言存在跨平台传播和变种快的特点 需要监管部门完善法律法规并建立跨平台信息共享与联合惩戒机制 [4] - 需要大众媒体/专业机构及时发声 社会公众培养健康网络素养和理性上网习惯 [4] - 需从单纯技术防线过渡到多主体协同/全社会共同参与的共治阶段 [4]

平台治理策略 - 抖音上线"AI抖音求真"功能 针对误导性内容和谣言提供事实展示及澄清 [1] - 平台将大模型能力应用于谣言治理 实现"发现即管控" 一个季度内谣言曝光量下降67% [1] - 通过热点运营 辟谣账号运营 媒体辟谣团等方式构建辟谣内容生态 [3] 技术应用成效 - 引入大模型识别 研判 处置机制 显著提升谣言识别能力和处置效率 [3] - 平台技术工具日益丰富 治理AI谣言的技术防线更加稳固 [3] - 治理模式从被动转为主动 从"点"的治理转向"面"的升级 [3] 行业挑战特征 - AI谣言具有门槛低 传播强 变异频繁 易跨平台扩散等特点 [1] - 误导性内容存在歪曲政策解读 消解社会公平 侵蚀社会信任等问题 [1] - 灰黑利益链利用AI技术造假造谣 增加网络防谣辟谣难度 [1] 生态协同需求 - 需要监管部门完善法律法规 建立跨平台信息共享与联合惩戒机制 [4] - 大众媒体和专业机构需及时发声 社会公众需培养健康网络素养 [4] - 治理需从技术防线迈向多主体协同 全社会参与共治阶段 [4]

AI谣言治理的法律法规完善 - 近期对AI造谣者实施行政处罚，例如广西网民郑某因借AI造谣燃气涨价受罚，一批传播AI谣言的网络账号被禁言或关闭[2] - 多项AI相关法规出台，包括《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》，为执法提供法律依据[2] - 专家建议针对高风险领域通过司法解释明确各方义务边界，并制定科学的AI侵权责任认定指导标准以解决违法成本过低问题[2] AI谣言案件取证与监测技术挑战 - AI谣言案件存在取证难问题，需构建适应AI技术特性的证据收集与认定系统[3] - 建议将不涉及商业秘密和个人隐私的平台算法透明化，并完善案件证据的司法认定规则与标准以破解责任认定难题[3] - 地方公安机关与科研机构及企业合作，提高对恶意深度伪造信息的监测预警和快速识别能力，并建立从巡查监测到打击处置的闭环机制[3] 平台在阻断AI谣言传播中的责任与技术措施 - 网络平台存在AI生成内容提示不及时问题，给了虚假信息传播时间[4] - 平台应自觉治理AI谣言，发现后立即采取下架、删除、辟谣等措施，并对重大事件和敏感话题加强内容真伪核查[4] - 技术上可通过算法识别、大数据分析和区块链溯源等手段识别和阻断谣言传播，例如利用自然语言处理和图像识别技术自动标记可疑内容[5] - 建议引入动态可追溯责任链机制，使用内容显式标识和隐式标识进行内容倒查和动态追责[5] 提升社会对AI谣言的辨别能力与防范意识 - AI生成内容存在可识别的技术破绽，例如可能生成六根手指、阴影方向错误或面部表情不协调[7] - 公众需对标注“网友爆料”“独家内幕”或逻辑存在漏洞的信息保持警惕，并通过交叉印证和权威信源核实信息真伪[8] - 提醒用户审慎对待未经核实的AI生成内容，防止因事实性偏差、逻辑漏洞或时效滞后问题无意间助推谣言传播[8] - 建议通过发布典型案例普及AI谣言的生成机制、传播逻辑和识别方式，帮助公众增强辨别能力[8]