行业现状与问题 - 在短视频社交平台等网络隐秘角落，基于AI换脸、深度伪造等虚拟合成技术的犯罪正在蔓延，大量违背伦理道德的色情视频被“炮制”而出，受害者面容被恶意嫁接到低俗影片中，并滋生出黑灰产 [1] - 这些以假乱真的换脸视频突破了法律与道德的底线，对个人安全和社会公序良俗构成严重威胁 [1] - 深度伪造（Deepfake）是指通过人工智能生成技术，将个人的声音、面部表情以及身体动作拼接合成虚假内容，最常见的是AI换脸技术 [4] 犯罪手法与产业链 - 不法分子将女性主播、网红、明星乃至普通女性的面容换到色情影片中传播并非法牟利，导致受害者遭受不良舆论并影响其正常社交生活 [2] - 存在公开提供AI换脸视频制作服务的黑灰产，例如在“可灵AI交流群”等群聊中，有人声称“988元包教会”制作擦边视频；在淘宝等电商平台搜索“AI人脸替换”，可找到花费几元到十几元定制换脸视频的商家 [3] - 制作AI换脸色情视频已形成黑色产业链，核心“作案工具”包括：AI换脸软件、预训练模型、被换脸的视频、受害人照片 [4] - 获取预训练模型（常被称为“AI金丹”）的门槛极低，在电商平台、二手交易平台只需花费几元钱即可轻易获得，降低了深度伪造的技术门槛 [7] - 经过技术迭代，目前制作深度伪造视频所需受害人照片数量已从最初版本的约50张多角度高清照片，减少到仅需20张左右照片即可实现较为自然的视频合成 [4] 受害者规模与影响 - 受害者案例普遍，并非个例，不法分子建立的群组按城市和学校对受害者进行分类，旨在其社交圈内传播 [9] - 2024年8月韩国爆发大规模深度伪造危害事件，社交媒体流传的受影响名单包含百余所中小学及国际学校，受害者达到22万余人 [4] - 深度伪造的受害者群体主要是女性，例如发布在社交平台的女高中生照片被合成到裸体表情包上 [9] 执法挑战与应对 - 公安机关在打击此类犯罪时面临服务器难以追踪、证据难以保存等前所未有的技术挑战，电子证据极易被加密、篡改或销毁，对案情研判造成阻碍 [9] - 对AI生成内容进行溯源难度极大，传统办案中“人赃俱获”的模式在AI犯罪面前已不起作用，受害者因技术壁垒难以独立取证 [9] - 近年来，公安机关通过开展专项行动、加强技术研究及国际执法合作，构建“打击利用AI技术犯罪”的多维防线 [10] - 2025年1月，天津发生一起利用AI语音合成技术伪造企业老板视频实施的诈骗案，涉案金额95万元人民币，专案组通过分析资金流向、追踪IP地址，联合网络安全公司还原犯罪过程，并与银行联动追回83万元 [10]

AI生成虚假信息的现状与危害 - 网络上频繁流传如“珠峰安装电梯”等由AI生成的虚假视频图文内容，引发公众关注并被官方辟谣[1] - AI技术可将荒诞构想包装成以假乱真的视频图文，利用人类“眼见为实”的心理机制进行传播，内容因新奇怪诞而易于扩散，为制作传播者带来可观流量[1] - AI造假技术已形成完整灰色产业链，电商平台有商家提供“AI起号”服务，标榜“三天打造10万粉丝账号”，核心手段是利用AI生成虚假内容吸引点击[2] - AI换脸与声音克隆技术泛滥，出现医生张文宏被换脸售卖产品、奥运冠军全红婵声音被克隆用于售货等案例，该技术甚至延伸至刑事犯罪领域[2] - 2024年10月南京市一案件中，被告人利用AI换脸软件生成动态人脸视频，非法获取195万条公民个人信息并实施盗刷消费，被判处有期徒刑4年6个月[2] - 互联网用户数量庞大且素养参差不齐，文化水平不高的人群和老年人群缺乏信息甄别能力，极易成为AI虚假信息受害者，例如通过AI假视频直播贩卖假货的骗术[3] 治理AI虚假信息的综合体系 - 治理策略需建立技术规范、监管创新、法治完善三位一体的综合治理体系，而非仅停留于“跟随辟谣”的常规思维[3] - 应严格规范AI技术应用，推行“AI内容强制标识制度”，要求AI生成式音视频、文字产品在显著位置注明系AI生成，并对AI数字人等产品严加监管[3] - 需利用科技手段改进监管，加强人工智能、大数据等监管工具开发，通过先进技术手段识别、跟踪和剿灭网络虚假信息[4] - 监管创新应建立“平台-政府-用户”三方协同机制：平台方优化推荐算法降低未经核实AI内容权重，监管部门构建“AI虚假信息库”实现跨平台数据共享与联动处置，用户端普及数字素养教育特别是针对老年人的反AI虚假信息培训[4] - 需完善AI开发应用的法律法规，在现有网络安全法、数据安全法、个人信息保护法基础上，进一步针对AI虚假信息制作、传播、利用完善法规并切实执行，对利用AI从事不法活动者依法严厉打击以形成威慑力[4]