AI谣言治理挑战 - 制造出的虚假信息更具迷惑性且易传播难防治 对政府监管部门 互联网平台 技术研发者及社会各界提出新挑战 [1] 法律规制与执法行动 - 依法惩治AI造谣行为 广西网民郑某因借AI造谣燃气涨价受行政处罚 一批传播AI谣言的网络账号被禁言或关闭 [2] - 近年来AI相关法律法规不断健全完善 出台《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等 为执法提供法律依据 [2] - 针对生成和传播虚假信息的高风险领域 需通过司法解释等法律形式明确各方义务边界 制定科学合理的AI侵权责任认定指导标准 [2] 技术取证与监测机制 - AI谣言案件取证难困扰办案机关 需构建适应AI技术特性的证据收集与认定系统 [3] - 地方公安机关探索监测识别AI谣言 与科研机构企业合作提高对恶意深度伪造信息的监测预警和快速识别能力 建立网络谣言巡查监测核查反馈会商研判线索移送打击处置的闭环机制 [3] 平台责任与技术措施 - 平台应自觉治理AI谣言 发现后立即采取下架删除辟谣等措施 面对重大事件敏感话题加强图片视频真伪核查 [4] - 建立便捷举报投诉渠道 对网民反映的疑似谣言信息及时查证处理 对多次利用AI造谣用户采取列入黑名单等禁止性措施 [5] - 通过算法识别大数据分析区块链溯源等技术手段识别阻断谣言传播 利用AI系统检测通过自然语言处理和图像识别技术自动标记可疑内容并减少推荐 [5] 公众辨别与媒体责任 - AI生成内容可能存在事实性偏差逻辑漏洞或时效滞后问题 使用过程中应保持审慎态度 不要直接公开发布未经核实的AI生成内容 [8] - 媒体平台应提高内容审核能力 通过官方渠道和权威信源核查信息真实性 自媒体从业者应增强法律意识真实准确客观发布信息 [8] - 通过发布典型案例引导人们了解AI谣言的生成机制传播逻辑话术套路和识别方式 [8]

AI谣言治理挑战 - AI生成虚假信息具有高度迷惑性和易传播特性 对监管部门、平台和技术开发者构成系统性挑战 [1] - 需要技术完善与法律规制双管齐下 通过多方联动共治格局解决防治难题 [1] 法律规制进展 - 近期出现多起AI造谣处罚案例：广西网民因AI造谣燃气涨价受行政处罚 传播谣言账号被禁言或关闭 [2] - 已出台《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法规 明确法律底线和执法依据 [2] - 当前存在违法成本过低问题 需通过司法解释明确各方义务边界和侵权责任认定标准 [2] 技术取证难点 - AI谣言案件存在取证困难 需构建适应AI技术特性的证据收集与认定系统 [3] - 建议建立司法认定规则与标准 将平台算法透明化（不涉及商业机密和隐私部分） [3] - 地方公安机关正与科研机构合作 开发深度伪造监测预警能力 建立网络谣言闭环处理机制 [3] 平台治理责任 - 部分平台对AI生成内容标识不及时 给虚假信息传播留下时间窗口 [4] - 平台需主动采取下架、删除、辟谣等措施 特别是在重大事件和敏感话题上加强真伪核查 [4] - 应建立便捷举报渠道 对多次造谣用户采取黑名单等禁止性措施 [5] 技术防治手段 - 通过算法识别、大数据分析和区块链溯源等技术手段识别阻断谣言传播 [5] - 利用自然语言处理和图像识别技术自动标记可疑内容并减少推荐 [5] - 探索"动态可追溯责任链"机制 采用内容显式/隐式标识实现倒查追责 [5] 内容识别特征 - AI生成内容存在可识别特征：如六根手指、阴影方向错误、面部表情不协调等视觉破绽 [7] - 需警惕"网友爆料""独家内幕"等标签 通过权威信源核实和交叉验证辨别真伪 [8] 社会协同治理 - 用户需增强法律意识 避免无意识传播未经核实的AI生成内容 [8] - 媒体平台应提升审核能力 通过官方渠道核查信息真实性 [8] - 自媒体从业者需确保信息发布真实准确客观 履行社会责任 [8] - 通过典型案例普及AI谣言生成机制和识别方式 提升公众辨别能力 [8]

制造出的虚假信息更具迷惑性，"AI(人工智能)幻觉"带来"一本正经地胡说八道"……易传播、难防治 的"AI谣言"，对政府监管部门、互联网平台、技术研发者以及社会各界提出了新挑战。 如何遏制人工智能"说谎"？需要技术完善与规制，也需要系统性治理。多名受访专家表示，要完善法律 规范和部门监管，推动形成多方联动的共治格局。 亮明法律底线，增强对"AI谣言"的威慑力 与此同时，"AI谣言"案件取证难，困扰着办案机关。"解决涉'AI谣言'案件取证难，需构建一套适应AI 技术特性的证据收集与认定系统。"杨清望建议，通过建立完善案件证据的司法认定规则与标准，将不 涉及商业秘密和个人隐私的平台算法透明化，以此破解证据与责任认定难题。 一些地方公安机关已经在监测和识别"AI谣言"上有所探索。"我们与科研机构、企业密切合作，进一步 提高对恶意'深度伪造'信息的监测预警和快速识别能力，与相关部门合作建立网络谣言巡查监测、核查 反馈、会商研判、线索移送、打击处置的闭环机制，对于通过AI等方式合成的虚假信息，第一时间依 法依规处理。"辽宁沈阳市公安局网络安全保卫支队民警杨永志表示。 加固技术堤坝，斩断"AI谣言"的传播链 有网友发现， ...

制造出的虚假信息更具迷惑性，"AI（人工智能）幻觉"带来"一本正经地胡说八道"……易传播、难防治 的"AI谣言"，对政府监管部门、互联网平台、技术研发者以及社会各界提出了新挑战。 如何遏制人工智能"说谎"？需要技术完善与规制，也需要系统性治理。多名受访专家表示，要完善法律 规范和部门监管，推动形成多方联动的共治格局。 亮明法律底线，增强对"AI谣言"的威慑力 近日，借AI造谣燃气涨价的广西网民郑某受到行政处罚；一批传播"AI谣言"的网络账号被网信部门责令 禁言或依法依约关闭；向用户传授如何利用AI"一键去衣""换脸换身"的账号、公开售卖相关软件的网络 店铺，受到网信、公安等部门联动惩治…… 依法惩治的背后，是近年来AI相关法律法规的不断健全完善。《互联网信息服务深度合成管理规定》 《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等出台，向AI使用者和平 台管理者亮明了法律底线，为执法提供了法律依据。 中南大学法学院副院长杨清望表示，"AI谣言"违法成本过低的问题仍然存在，要对不法行为严加惩处， 完善相关法律法规，增强威慑力。 北京师范大学新闻传播学院教授许小可建议，针对生成和传播虚假信息的高 ...

AI技术滥用现状 - AI技术被用于制作发布谣言和不实信息，表现形式多样，如伪造视频和AI生成新闻稿[1] - 中央网信办部署"清朗·整治AI技术滥用"专项行动，重点整治利用AI制作发布谣言等乱象[1] AI谣言产生原因 - "AI幻觉"现象导致虚假信息输出，大模型在专业领域训练语料不足时容易出现推算错误[2][3] - 恶意编造传播"AI谣言"获取利益，包括炒作自媒体账号吸粉和实施诈骗等违法犯罪行为[4] - 形成"需求分析—内容生产—精准投放"的生产链条，有机构一天能生成4000至7000篇假新闻[4] AI谣言传播特点 - 可以做到分平台、分渠道、分时段、分媒介的定制化生成和发布，成本低廉[6] - 利用"灾难+儿童"等组合并删除AI生成标识，引发快速传播[6] - 造谣门槛大幅降低，用开源AI模型30秒即可生成以假乱真的画面[7] AI谣言防治难点 - 表述接近"真话"，更难以被技术手段屏蔽[9] - 可通过对抗训练绕过谣言关键词，如把"山体滑坡"改为"地质活动异常"[9] - 传统谣言像火可扑灭源头，"AI谣言"像病毒会不断变异[9] 技术改进方向 - 完全消除"AI幻觉"具有高度挑战，因大模型生成机制本质是概率驱动的语言建模[9] - 通过多模型协同判断、事实增强训练等技术手段可缓解"AI幻觉"发生的频率与危害[9]

AI标识制度的技术潜力与治理挑战 - AI标识制度展现出积极的技术潜力，可作为内容治理链条的重要前端支点，但仍存在技术短板需与现有治理体系协同[1] - 2024年国内AI风险舆情案例中超过1/5与AI造谣有关，2025年涉AI谣言如"西藏定日县地震"等频繁引发舆论关注[1][2] - AI合成换脸用于虚假宣传案件频发，如冒充明星带货、杜撰非遗传承人等违法牟利行为[3][4] AI生成内容放大治理难题的三大特征 - "更易"：生成高度真实感内容门槛降低，中部某省村民通过AI模型批量生成热点文章获取流量收益[5] - "更多"：技术实现虚假信息工业化生产，如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[2] - "更真"：多模态信息增强迷惑性，如"西安市鄠邑区地下出热水"谣言因细节丰富难以辨别[6] AI标识制度的双重机制与责任体系 - 建立"显式标识+隐式标识"双重机制，显式标识降低内容可信度，隐式标识嵌入元数据实现机器识别[3] - 责任主体覆盖生成合成服务提供者、传播平台及用户全链条，生成平台需添加元数据标识，传播平台需核验标识[3] - 显式标识适用范围限定于易引起混淆误认的领域，避免过度标识导致信息过载[5] AI标识的理论效能与实践局限 - 隐式标识可将治理关口前移至生成阶段，提升识别效率应对"低门槛""大批量"挑战[4] - PNAS Nexus研究显示4976名受试者对标注"AI生成"的新闻标题信任度降低，分享意愿下降[8] - 技术存在"易规避"（开源模型水印可移除）、"易伪造"（模仿水印嵌入）、"易误判"（传统算法误判率高达100%）三大短板[9][12][13] AI标识与现有治理体系的协同路径 - 标识制度应聚焦高风险领域（谣言、虚假宣传），与举报删除、黑名单等现有措施协同[8] - 对低风险领域（B端应用、数据合成等）可探索多元治理路径，参考欧盟《人工智能法案》豁免条款[9] - 传播平台标识检测成本高于生成平台，需在责任界定中保持包容性，美国加州和欧盟法案均未强制传播平台担责[9]

AI标识制度的治理价值与挑战 核心观点 - AI标识制度作为应对AI生成虚假信息"更多更真"挑战的前端治理工具，具有提升识别效率与用户警觉的技术潜力，但存在易规避、伪造及误判等局限性，需与现有内容治理体系协同[1][3][10] 分章节总结 一、AI新技术与治理老难题 - **更易**：AI大幅降低虚假内容生成门槛，非专业用户可通过粘贴关键词生成高真实感文章牟利[3] - **更多**：技术实现虚假信息批量化生产，如"医疗泰斗客死他乡"谣言通过500账号矩阵日均产出1万条[3] - **更真**：多模态细节增强迷惑性，如"西安市鄠邑区地下出热水"谣言因包含视觉要素难以辨别[3] 二、AI标识的治理价值与自身局限 （一）理论优势 - **隐式标识**：通过元数据嵌入实现早期识别，提升对"低门槛""大批量"内容的治理效率[6] - **显式标识**：研究显示标注"AI生成"可使4976名受试者对内容的信任度下降，分享意愿降低[6] - **适用范围限定**：聚焦易引发混淆误认的高风险领域，避免过度标识导致信息过载[7] （二）实践局限 - **技术短板**：开源模型（如Stable Diffusion）水印可被移除，攻击者可伪造或规避标识[8][9] - **误判风险**：传统文本检测方法误判《滕王阁序》为"AI率100%"，技术改进无法完全消除误差[9] - **成本挑战**：嵌套水印验证所需计算资源可能超过生成成本，检测过程效率低下[9] 三、AI标识的优化应用路径 - **体系协同**：将标识作为现有治理体系的补充工具，重点防范谣言、虚假宣传等高风险场景[11][12] - **责任划分**：生成平台需承担主要标识责任，传播平台检测难度较高需包容性治理[14] - **风险分级**：对低风险领域（如B端数据合成）采取豁免政策，与欧盟《人工智能法案》理念一致[13] 行业影响与数据参考 - **舆情案例**：2024年国内50个AI风险案例中，超1/5（20%）涉及AI造谣[1] - **技术应用**：广告素材生产、教育培训方案等领域正从"千人千面"向"一人千面"升级[7] - **法律基础**：《民法典》《广告法》等为AI内容违法行为提供执法依据[12]

陈奕迅AI造谣事件 - 5月18日晚短视频平台疯传"陈奕迅因新冠并发症离世"的AI造假视频，源头为YouTube账号"台山TV"发布的9分27秒拼接视频[8][9] - 该账号长期发布无根据的娱乐谣言，一周前曾造谣成龙去世[10] - 陈奕迅团队原计划不回应以避免增加造谣者流量，但因谣言持续发酵最终通过个人账号发布幽默图文"复活后先吃肉"辟谣[6][1] 行业影响 - AI技术滥用导致娱乐行业面临新型谣言威胁，近期AI造假视频和虚拟人新闻频发[10] - 今年两会期间已有演艺界代表靳东等呼吁立法加强AI监管[10] - 环球音乐公司公开谴责该事件是"非常无聊的造谣"[7] 舆论反应 - 辟谣内容登上微博热搜榜首[4] - 陈奕迅超话粉丝反应两极：部分谴责造谣者，部分被幽默回应触动[5] - 节目合作歌手叶晓粤凌晨率先通过助理渠道确认消息不实[9]

谣言事件 - 短视频平台疯传"陈奕迅因新冠并发症不幸离世"的虚假消息[1] - 消息源头为YouTube账号"台山TV"发布的9分27秒拼接视频，内容为陈奕迅旧照片加粤语AI配音[5][6] - 视频声称"陈奕迅16日凌晨在高雄去世"并编造"高雄大批歌迷赶往哀悼"等虚假情节[8] - 该账号一周前还曾造谣成龙去世，专门发布无根据的娱乐八卦和明星谣言[10] 辟谣过程 - 陈奕迅战队成员叶晓粤通过微信联系其助理，确认"去世"为假新闻，陈奕迅身体无碍[2][4] - 环球音乐公司回应称是"非常无聊的造谣"[11] - 台湾"疾病管理处"官网查询显示无相关消息[8] 演唱会延期 - 陈奕迅Fear and Dreams巡回演唱会因确诊新冠延期，原定5月16-18日高雄三场演出改至5月29-31日[12] - 延期原因为14日晚突感不适，15日医生确诊新冠感染[12] AI技术滥用现象 - AI合成技术被用于制作明星虚假采访视频，邓超孙俪工作室发文打假自媒体平台发布的虚假产品推荐视频[14] - 刘晓庆、古天乐、林峯等明星也曾遭遇AI"假人"视频困扰[20] - 全国两会期间靳东、陈达等人呼吁立法监管AI技术，明确使用范围和条件以推动"科技向善"[22]

AI谣言治理与平台应对 - 网民徐某强利用AI生成"顶流明星澳门输10亿"谣言信息，造成恶劣社会影响，被行政拘留8日[1][2] - 微博3月11日启动AI内容治理，重点领域包括社会民生/突发事件/科普医疗/个人权益，对未标识AI内容采取打标/限流/封号等措施[4] - 抖音/快手/微信/小红书/B站等六大社交平台均已要求用户声明AI生成内容[6] - 今日头条去年打压93万条低质AI内容，处罚3万个违规账号，AI内容典型特征为空洞/矛盾[7] - AI内容农场产业链曝光：西安案件日均生成19万篇流向6000账号，南昌MCN机构日生成4000-7000篇[8] AI内容生产成本与监管 - 国产大模型API生成单篇文章成本仅0.00138元，1分钱可生产7篇文章[8] - 2023年8月实施的《生成式AI服务管理暂行办法》要求对图片/视频等内容进行标识[9] - 2024年9月《AI生成合成内容标识办法》拟要求平台添加明显AI标识[10] - 网信办2025年"清朗"行动将重点整治AI技术滥用，强化内容标识[10] AI技术滥用风险 - AI换脸/拟声技术成为违法重灾区，雷军本人称是受害者[11][12] - 雷军两会提案呼吁加强AI换脸拟声治理，建议提前立法防范风险[13]