一段"AI换脸"的不雅视频，让一位高校导师突然陷入诈骗危机；一张"近乎复刻"的AI克隆照，让白领小雅担心自己的照片被用来制作色情内容；青岛保时 捷女销冠和台球运动员王思诺则深陷恶意AI造"黄谣"风波……他们都是AI技术被滥用的受害者。 此外，社交平台上，明星"AI换装""AI擦边"内容泛滥，成为"流量密码"，部分账号靠此类内容吸粉，甚至有教程指导用户借此"起号变现"。 这些涉嫌侵权和违规内容缘何能被轻易炮制出来？ 近期，《每日经济新闻》记者（以下简称"每经记者"或"记者"）对用户使用较多的12款文生图和文生视频AI应用进行了实测，结果发现5款可实现明星"一 键换装"，9款能生成"擦边"图片。 面对乱象，中央网信办于今年6月启动了"清朗·整治AI技术滥用"专项行动第二阶段工作，重点整治7类突出问题，包括利用AI制作发布色情低俗内容，利 用AI假冒他人实施侵权违法行为。 然而，AI应用的技术防线为何脆弱不堪？内容平台又在其中扮演了何种角色？这场技术滥用乱象背后的多重疑问，亟待解答。 一、AI滥用阴影下：普通人与公众人物皆难幸免 8月的一个深夜，电子科技大学人工智能专业研究生校外导师高翔收到一条诈骗短信，短信中是一 ...

8月的一个深夜，电子科技大学人工智能专业研究生校外导师高翔收到一条诈骗短信，短信中是一段利用AI换脸技术篡改过的、在酒店房间的不雅视频， 被换脸的正是他自己。 每经记者｜宋欣悦 郑雨航 岳楚鹏 每经编辑｜兰素英 王嘉琦 一段"AI换脸"的不雅视频，让一位高校导师突然陷入诈骗危机；一张"近乎复刻"的AI克隆照，让白领小雅担心自己的照片被用来制作色情内容；青岛保时 捷女销冠和台球运动员王思诺则深陷恶意AI造"黄谣"风波……他们都是AI技术被滥用的受害者。 此外，社交平台上，明星"AI换装""AI擦边"内容泛滥，成为"流量密码"，部分账号靠此类内容吸粉，甚至有教程指导用户借此"起号变现"。 这些涉嫌侵权和违规内容缘何能被轻易炮制出来？ 近期，《每日经济新闻》记者（以下简称"每经记者"或"记者"）对用户使用较多的12款文生图和文生视频AI应用进行了实测，结果发现5款可实现明星"一 键换装"，9款能生成"擦边"图片。 面对乱象，中央网信办于今年6月启动了"清朗·整治AI技术滥用"专项行动第二阶段工作，重点整治7类突出问题，包括利用AI制作发布色情低俗内容，利 用AI假冒他人实施侵权违法行为。 然而，AI应用的技术防线为 ...

央视网消息（焦点访谈）：当下，在短视频平台或者是直播平台上购物成了很多人的新选择。刷视频的时候，还经常会冒出熟悉的明星，用流利的乡音推销 农产品，有的还进行直播带货。注意了，这些所谓的"明星"很可能是仿冒的。近段时间，网络上一些商家利用AI技术仿冒带货。有的借助名人效应，仿冒专 家学者、奥运冠军、影视明星；也有的借助产地效应，冒充知名品牌。消费者、粉丝难辨真伪，慕名下单，却不知道自己被蒙骗了。这些游走在灰色地带 的"AI李鬼"，正拷问着我们的数字治理能力。 近段时间，在一些手机平台的网络直播间，一些打着樟树港辣椒旗号的种子，成了主播推销带货的重点。记者注意到，这些直播间的销售人气很旺，不时有 人咨询或下单购买。 湖南岳阳的樟树港辣椒属国家地理标志农产品，有400多年的种植历史，因量少质优，特级产品可卖到300元一斤。 而在这些网络直播间，记者看到，画面中展示的辣椒成串垂挂，产量奇高。当记者在直播间询问辣椒种子是否保真，种出来有没有这么大时？主播纷纷表 示，所见即所得。 奇怪的是，就在主播回答提问的时候，背景视频却出现了农户站在快要没过膝盖的深水中采摘辣椒的场景，这样的场景显然不符合常理，而类似的画面在其 他直 ...

AI克隆声音技术滥用现状 - AI技术实现“一键式”克隆特定人物声音 已带来民事侵权及涉嫌犯罪问题 [1] - 部分自媒体博主利用奥运冠军AI克隆声音带货农产品 如全红婵声音推销土鸡蛋视频获1.1万点赞 [3] - 商品链接显示土鸡蛋已售出4.7万件 大量粉丝误认为真人下单购买 [3] - 除全红婵外 奥运冠军孙颖莎和王楚钦声音同样被仿冒用于农产品带货 [3] - 演员靳东成为被仿冒最多对象 克隆声音用于24小时语音直播互动 [5] 灰色产业链与危害 - 通过仿冒名人直播可诱骗粉丝打赏获利 并将小白账号快速打造成上万粉丝账号为后续牟利铺路 [5] - AI克隆声音最大隐患是被诈骗分子利用 若结合AI换脸技术生成高度逼真“数字人”实施诈骗危害严重 [6] - 基于开源语音大模型 仅需一段清晰语音样本即可在极短时间内克隆任何人声音并操纵其说出任意内容 [5] 法律保护与监管措施 - 民法典第1023条明确对自然人声音保护参照适用肖像权保护规定 [6] - 利用AI合成声音若能使公众通过音色及风格关联到特定自然人 即构成法律认定的可识别性侵权行为 [6] - 对录音制品授权不意味着对声音AI克隆授权 未经许可使用权利人声音构成侵权 [6] - 国家网信办等四部门要求2025年9月起对AI生成内容添加显式标识 [7] - 中央网信办部署“清朗·整治AI技术滥用”专项行动 强化AI技术源头治理及平台检测鉴伪能力 [7]

随着AI技术的普及，"克隆"特定人物声音已实现"一键式"操作，同时也带来了民事侵权甚至涉嫌犯罪的 法律问题。 在互联网上，奥运冠军的"声音"突然开始推销农产品，知名演员的"声音"24小时不间断在直播间与粉丝 互动……这些以假乱真的AI克隆声音正成为部分自媒体博主的"流量密码"。 记者在抖音平台发现，在这个网名为"我是小助理吖"的博主账号中，已发布的17件作品，内容全部是利 用AI仿冒奥运冠军全红婵声音带货土鸡蛋的视频，其中一个视频点赞量高达1.1万。 评论区显示，大量粉丝误以为这就是全红婵本人，纷纷下单购买链接中的鸡蛋，该商品链接显示已售出 4.7万件。今年4月，全红婵家人曾向媒体证实，全红婵并未给相关农产品代言或授权。 除全红婵外，奥运冠军孙颖莎和王楚钦也遭遇了同样的仿冒。在这个网名为"小兔真可爱"的账号中，两 位奥运冠军的AI克隆声音同样在为土鸡蛋带货。 据悉，依托成熟的语音大模型技术，仅需十几秒就能"克隆"任何人的声音，当声音能被轻易窃取和滥 用，随之而来的侵权乱象频繁上演。 以假乱真 用奥运冠军的AI克隆声音带货 网传AI仿冒全红婵带货画面：大家好，我是你们的婵宝，今天有事请大家帮忙。婵妹就想 着帮助 ...

利用AI仿冒奥运冠军声音带货 背后潜藏灰色产业链 记者在抖音平台发现，在网名为"我是小助理吖"的博主账号中，已发布的17件作品，内容全部是利用AI仿冒奥运冠军全红婵声音带货土鸡蛋的视 频，其中一个视频点赞量高达1.1万。 评论区显示，大量粉丝误以为这就是全红婵本人，纷纷下单购买链接中的鸡蛋，该商品链接显示已售出4.7万件。今年4月，全红婵家人曾向媒体证 实，全红婵并未给相关农产品代言或授权。 除全红婵外，奥运冠军孙颖莎和王楚钦也遭遇了同样的仿冒。在网名为"小兔真可爱"的账号中，两位奥运冠军的AI克隆声音同样在为土鸡蛋带货。 以假乱真的声音再加上对奥运冠军的喜爱，网络博主收获了大量粉丝的订单。 在互联网上，奥运冠军的"声音"突然开始推销农产品，知名演员的"声音"24小时不间断在直播间与粉丝互动……随着AI技术的普及，"克隆"特定人 物声音已实现"一键式"操作。当声音能被轻易窃取和滥用，随之而来的侵权乱象频繁上演。 而记者发现，AI仿冒名人的乱象远不止带货，还有部分自媒体博主克隆名人的声音后进行24小时语音直播，演员靳东是被仿冒最多的对象，在这看似匪 夷所思的操作背后，其实隐藏着另一个灰色产业链。 据网络安全专家 ...

AI克隆声音技术滥用现状 - AI语音克隆技术成熟 仅需十几秒即可克隆任何人声音 导致侵权乱象频繁上演 [1] - 抖音等平台存在大量利用AI仿冒奥运冠军全红婵声音带货的账号 单个视频点赞量达1.1万次 [4] - 仿冒视频商品链接显示已售出4.7万件 大量粉丝误认为真人下单购买 [4] - 除全红婵外 奥运冠军孙颖莎和王楚钦同样遭遇声音仿冒用于土鸡蛋带货 [4][6] - 部分自媒体克隆名人声音进行24小时语音直播 演员靳东是被仿冒最多对象 [8] - 仿冒直播可诱骗粉丝打赏获利 并将小白账号迅速打造成上万粉丝账号 [8] 配音行业侵权案例 - 配音演员武扬发现某餐饮企业宣传片未经授权使用其AI克隆声音 视频转发量达2800多次 [9] - 侵权方仅愿支付5000元赔偿但拒绝公开道歉 声称克隆声音由第三方公司提供 [9] - 配音演员浩洋遭遇多次侵权 维权陷入"自证循环"困境 [9][10] - 行业普遍存在合作一次即遭无限克隆的现象 受害者决定通过法律程序维权 [10] 技术原理与安全隐患 - 基于开源语音大模型 仅需一段清晰语音样本即可在极短时间内克隆声音 [13] - AI克隆声音最大隐患是被诈骗分子利用 若结合AI换脸技术可生成高度逼真"数字人"实施诈骗 [14] - 在抖音、快手等平台可轻易找到大量声音克隆教程视频和软件下载信息 [11] 法律保护与监管措施 - 民法典第1023条明确对自然人声音的保护参照适用肖像权保护规定 [17] - 未经许可使用或许可他人使用权利人声音构成侵权 录音制品授权不包含AI克隆授权 [19] - 平台若知道或应当知道用户侵权而未采取必要措施 需承担连带责任 [20] - 《人工智能生成合成内容标识办法》将于2025年9月施行 要求对生成内容添加显式标识 [22] - 中央网信办部署"清朗·整治AI技术滥用"专项行动 强化AI技术源头治理和违规应用清理 [22]

AI生成内容滥用现象 - 社交媒体上AI生成视频关注度高 细节丰富令网友信以为真 内容包括外国人唱中文歌 银发奶奶传授养生秘诀 氛围感女孩分享穿搭美学等 [1] - 部分社交账号利用AI技术造假博眼球快速吸粉起号 进而通过电商带货 账号转卖等方式变现 形成起号 转型 转卖的灰色产业链 [1] - 生成式AI工具普及大幅降低起号门槛 在单账号月入过万利益驱动下 操作者瞄准情感 养生 美妆等易引发共情领域 用AI生成银发奶奶 美女博主等形象精准吸引特定群体 [1] 平台治理与监管行动 - 多个平台对AI起号现象开展专项治理行动 清理违规内容并封禁部分账号 [1] - 中央网信办2023年4月启动清朗·整治AI技术滥用专项行动 7月开展清朗·整治自媒体发布不实信息专项行动 均将AI造假列为重点整治内容 [2] - 平台需构建识别—拦截—溯源技术体系 用深度模型精准识别伪装AI内容 建立违规账号黑名单 定向阻断变现链条 [3] 技术挑战与法律风险 - 技术对抗持续上演 造假者通过压缩文件 修改代码等方式规避平台AI识别 增加监管难度 [2] - 法律适用存在模糊地带 AI生成内容标注义务 虚拟账号归属等问题缺乏细化规定 导致追责陷入取证难 认定难困境 [2] - 账号交易多通过加密聊天工具进行 资金流向隐蔽 给溯源打击带来挑战 [2] 治理解决方案 - 监管部门与网络平台手握更雄厚技术资源 更完整数据链条和更强大研发能力 能够通过技术赋能实现对新技术的冒头即打 露头就灭 [3] - 监管部门可搭建全国性监测平台 追踪账号交易异常 解码隐蔽交易信息 联动打击产业链节点 [3] - 需畅通技术化举报渠道 形成全民监督合力 让灰色产业链失去滋生土壤 [3]

来源：法治网微信公众号 01 法治网研究院：针对近来不断被媒体曝出的换脸、拟声等各种AI技术滥用乱象，您认为，当前整治 AI技术滥用的难点在哪里？ 黄尹旭：当前，AI滥用手段的进化速度可能超过检测技术，深度伪造已从简单的面部替换升级到动态 表情、光影细节的模拟，有些经过对抗性训练绕过现有检测工具。检测系统刚识别出像素异常特征，滥 用者就可能添加噪声、调整参数来规避。 滥用内容的隐蔽性越来越强，可能只是在真实视频中替换几秒对话，或在新闻里夹杂小段AI生成文 字，传统批量扫描技术很难识别局部篡改。 还有，各平台的监测标准、处置流程不一，难以形成全链条拦截。 李瑞：我认为主要难点有三个：一是技术迭代迅猛，随着人工智能技术的飞速发展，深度伪造技术的质 量不断提升，已经日益逼近甚至超越真实水平，而传统的识别模型在这种高速变化面前显得力不从心， 难以跟上技术发展的步伐。 二是责任主体呈现碎片化状态，从最初的训练数据收集、模型托管服务、分发平台运营，到最终的终端 用户使用，整个链条极为冗长且复杂。这种多环节、多主体的分散格局，使得取证过程变得异常艰难， 归责问题也变得错综复杂，难以厘清。 三是治理标准存在明显缺位，现行的《 ...

湖南怀化网警在日常巡查中发现，一条"怀化35岁女子从28楼跳下"的视频在网络传播，视频的配文中还 标注了高空坠亡事件、家庭悲剧等标签，该视频一经发布迅速引发热议，先后获得数万次转发。经怀化 市公安局缜密侦查，对违法嫌疑人禹某进行了抓捕。据禹某向警方供述，为了快速提升自己账号的关注 度，她通过在某AI平台输入"高空坠楼、家庭悲剧"等关键词生成视频片段，并经过二次剪辑后发布到网 上。除了这起利用AI工具编造谣言的案例之外，上海警方前不久也破获了一起利用AI工具编造企业不 实信息的案件。 当"怀化35岁女子从28楼跳下"的所谓"新闻视频"在平台疯传数万次，当"某茶饮企业使用过期原料"的AI 杜撰谣言导致门店营业额骤降超20%。AI生成内容正被扭曲为流量时代的新型造谣工具。 恶意造假已成AI技术滥用重灾区。湖南禹某仅凭输入"高空坠楼、家庭悲剧"等关键词，便借助平台"悲 剧模板"一键生成虚假跳楼视频；上海姚某、陈某等人为博取广告收益，用AI工具"洗稿"拼凑企业不实 信息。技术门槛的降低正催生一条AI造谣的灰色产业链，某平台"悲剧模板"月下载量超10万次的数据， 更揭示出流水线式造假的规模性危害。这些行为已非无心之失，而 ...