AI技术滥用现状与受害者案例 - 高校导师、白领、保时捷女销冠、台球运动员等普通人与公众人物均成为AI换脸、克隆照、恶意造谣等技术滥用的受害者，面临诈骗、诽谤和个人形象被用于制作色情内容等风险 [1][3][4] - 电子科技大学人工智能专业研究生校外导师高翔在8月收到利用AI换脸技术篡改的不雅视频进行诈骗的短信 [3] - 白领小雅在9月18日发现其社交平台照片被用于AI生成“克隆”图片，担心被用于制作淫秽色情内容并已报警 [3] - 青岛保时捷中心女销冠牟女士在10月10日称遭遇AI恶意合成的虚假视频诽谤，并受到骚扰电话“轰炸”和大量不明微信好友申请 [3] - 台球运动员王思诺在8月30日称遭人恶意利用AI伪造淫秽视频并传播，台球女裁判王钟瑶亦透露在境外网站有涉及她的伪造淫秽视频传播 [4] 平台内容生态与流量乱象 - 社交平台上明星“AI换装”和“AI擦边”图片或视频泛滥，成为“流量密码”，部分账号专门发布此类内容吸粉，甚至有教程指导用户借此“起号变现” [1][5][6] - 某视频平台有近100个专门发布“AI美女”相关内容的账号，其中一个账号拥有近25万粉丝，其发布内容绝大多数为AI生成“擦边”视频 [5] - 一个名为“AI瑶瑶”的账号发布的“擦边”AI女性视频，点赞超过1.2万次，收藏、转发量合计超6000次 [5] - 抖音上一条转赞评近万次的教学视频评论区充满咨询用户，有用户开出高达5万元的学费 [6] - 近十位知名女星被批量“嫁接”到同一名舞者身上，营造“身穿同款古装、共跳一支热舞”的效果，侵犯肖像权 [6] - 百度图片是AI生成“擦边”内容的重灾区，图片内容涵盖“制服诱惑”、动漫风格及各类衣着暴露的AI女性形象 [6] AI应用实测结果与技术防线脆弱性 - 对12款文生图和文生视频AI应用的实测发现，5款应用（即梦、豆包、可灵、元宝和阶跃AI）可实现明星“一键换装”，9款应用（即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、元宝）能生成衣着暴露的“擦边”图片 [2][10][12] - 在“AI换装”测试中，阶跃AI几乎瞬间将原图人物白裙“抹除”并生成身着黑色蕾丝吊带的图片，元宝能将冬季大衣替换为白色内衣或把紧身连体衣改成吊带短裙，豆包除执行换装指令外还能将图片一键转换为视频 [11][12] - AI应用的内容审核防线脆弱，提示词修改得更加隐晦即可绕过限制，例如向豆包、可灵输入包含“卡戴珊身材”“酒店房间”“亚洲美女”等关键词组合后，应用便生成了多张穿着性感、姿势暧昧的女性自拍照 [13] - LiblibAI生成的图片尺度更大甚至露点，其官方公众号介绍模型/图像创作者已突破2000万，日均保持数百万级创作交互，用户自主训练的原创AI模型与工作流超50万，累计生成图片逾5亿张 [13] 平台治理措施与厂商回应 - 小红书虚假内容治理负责人介绍，虚假不实内容、虚假人设和AIGC造假是社区打击重点，2025年上半年共处置治理虚假低质AIGC笔记60万篇，平台正加大AIGC识别模型研发投入并对AIGC内容做主动标识 [7] - 抖音相关负责人表示，根据《抖音社区自律公约》，平台将对展示传播低俗、媚俗的内容采取限制措施，无论是否通过AI生成，违规内容均会予以处置 [7] - 平台通常会在AI生成图片上标注“疑似AI创作，请谨慎甄别”等提示语，但律师认为此类标注不能直接认定平台已尽到合理注意义务或自动豁免法律责任 [8] - 针对实测问题，星流AI和LiblibAI母公司北京奇点星宇科技有限公司称问题源于新模型上线初期识别精度波动，已完成紧急修复与优化，修复后星流AI生成的12张图片有4张显示包含敏感内容，LiblibAI也有一张图片生成失败 [14] - 豆包、即梦相关人士表示严格遵守国家法律法规，禁止生成色情违法内容，无界AI品牌合作总监称已采取多项防范措施，堆友背后的阿里巴巴表示将进行内部调查 [15] 技术挑战与法律监管环境 - AI应用内容防线脆弱的原因并非技术不能而是责任缺失，技术专家指出拦截违规内容没有根本性难度但需消耗一定算力，可在提示词识别和图片生成后再次检测两个环节进行拦截 [17] - 复旦大学计算机学院副教授郑骁庆建议为所有AI生成内容加上人眼不可见但平台系统可快速检测的“数字水印”，以便平台迅速识别违规内容来源并采取措施 [9] - 我国已有网络安全法、《生成式人工智能服务管理暂行办法》、《互联网信息服务深度合成管理规定》等多部法律法规对AI内容规范做出要求 [17] - 2023年9月最高人民法院、最高人民检察院、公安部联合发布的指导意见强调，利用“深度合成”等生成式人工智能技术发布违法信息等情形依法从重处罚 [18] - 现行法律为AI内容规范提供原则性框架，但面对“擦边”内容时仍存在界定标准模糊、审核义务边界不明确、技术标准缺失、法律责任认定难等灰色地带 [19]

AI技术滥用现状 - AI技术被滥用于制作不雅视频、克隆照片和恶意造谣，受害者包括高校导师、白领和公众人物等[1][6][8][9] - 社交平台上明星"AI换装"和"AI擦边"内容泛滥，成为流量密码，部分账号专门发布此类内容吸粉变现[2][10][11][13] 平台治理措施 - 小红书2025年上半年共处置治理虚假低质AIGC笔记60万篇，平台正加大AIGC识别模型研发投入并实施主动标识[24] - 抖音表示根据社区自律公约对低俗媚俗内容采取限制措施，无论是否通过AI生成[25] - 平台通常会在AI生成图片上标注"疑似AI创作，请谨慎甄别"等提示语，但律师认为仅标注不能自动豁免法律责任[27][28] AI应用实测结果 - 测试的12款AI应用中，5款（即梦、豆包、可灵、腾讯元宝和阶跃AI）可实现明星"一键换装"[32] - 9款应用（即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、腾讯元宝）能生成衣着暴露的"擦边"图片[40] - 部分应用如LiblibAI生成的图片尺度较大甚至露点，该平台模型创作者已突破两千万，累计生成图片逾5亿张[43] 企业回应与整改 - 星流AI和LiblibAI母公司承认新模型上线初期识别精度波动导致风险内容遗漏，已完成紧急修复优化[46][47] - 豆包和即梦表示严格遵守法律法规禁止生成色情内容，承认AI技术处于发展早期将持续改进[51] - 无界AI月独立设备数为13.5万台，公司称已采取多项防范措施[51] 技术防范瓶颈 - 专家指出拦截违规内容在技术上无根本难度，但需要消耗算力成本，可通过构建名人识别模型充当防火墙[55][56] - AI公司可对用户提示词进行合规改写，并对生成图片实施实时风险检测，但模型本身的大尺度内容漏过问题仍需解决[50] 法律监管环境 - 我国已出台多项法规包括《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等对AI内容进行规范[57][58] - 现行法律对"擦边"内容存在界定标准模糊、审核义务边界不明确等问题，导致灰色地带较多[60] - 2023年三部门联合指导意见强调利用深度合成技术发布违法信息的情形将依法从重处罚[59]

AI技术滥用现状与受害者案例 - AI技术滥用导致高校导师、白领、保时捷女销冠及台球运动员等普通人与公众人物遭受诈骗、诽谤和"黄谣"等侵害[4] - 电子科技大学人工智能专业研究生校外导师高翔收到利用AI换脸技术篡改的不雅视频进行诈骗[4] - 白领小雅发现其社交平台照片被用于AI生成"克隆人"图像，担心被用于制作色情内容而报警[4] - 青岛保时捷中心女销冠牟女士遭遇AI恶意合成的虚假视频诽谤，并受到骚扰电话"轰炸"[4] - 台球运动员王思诺和裁判王钟瑶均遭遇AI伪造淫秽视频在境外网站传播[6] 社交平台AI违规内容泛滥现象 - 社交平台充斥明星"AI换装"和"AI擦边"内容，输入"AI写真""AI诱惑"等关键词可搜出大量违规内容[7] - 某视频平台有近百个"AI美女"账号，其中一个近25万粉丝账号主要发布AI生成"擦边"视频，单条视频点赞超1.2万次，收藏转发超6000次[7] - 平台存在教程指导用户利用AI"擦边"内容起号变现，宣称"流量大得吓人"，有用户愿付5万元学费学习[8][12] - 小红书有博主传播AI生成"擦边"图片方法，附带详细提示词教程[21] - 百度图片存在大量"制服诱惑"等衣着暴露的AI女性形象，部分配文"AI更懂男人"[23] 平台治理措施与挑战 - 小红书2025年上半年处置虚假低质AIGC笔记60万篇，加大AIGC识别模型研发投入并实施AI内容主动标识[23] - 平台通常仅在AI生成图片标注"疑似AI创作"提示语，律师认为此举不能使平台自动豁免法律责任[24] - 现有识别技术不完善，人工审核成本巨大，"标注"成为成本较低的管理方式[24] - 复旦大学专家建议为AI内容添加"数字水印"以便平台快速检测违规内容来源[25] AI应用实测结果 - 记者测试12款文生图和文生视频AI应用，5款（即梦、豆包、可灵、腾讯元宝、阶跃AI）可实现明星"一键换装"[26][27] - 阶跃AI可瞬间将原图白裙"抹除"生成黑色蕾丝吊带图片，腾讯元宝成功将衣服替换为保鲜膜等物品[29] - 豆包除换装功能外还能将图片一键转换为视频[30] - 12款应用中有9款（即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、腾讯元宝）能生成衣着暴露的"擦边"图片[31] - LiblibAI模型创作者已突破两千万，日均保持数百万级创作交互，用户训练原创AI模型超50万，累计生成图片逾5亿张[32] 技术防护漏洞与企业回应 - 星流AI和LiblibAI因新模型上线初期识别精度波动导致风险内容遗漏，修复后生成尺度有所收敛但更换提示词仍可生成露点图片[32][33] - 星流AI风控负责人解释AI大模型存在内容漏过情况，正优化提示词合规改写和图片实时风险检测流程[34] - 豆包、即梦表示严格遵守法规禁止生成色情内容，承认AI技术处于发展早期会持续改进[34] - 无界AI品牌总监称已采取多项防范措施，该App去年8月月独立设备数为13.5万台[34] 技术防护瓶颈与政策环境 - AI工程师透露提示词写得"精巧"时可绕过系统识别，专家认为拦截技术无根本难度但需消耗算力成本[38] - 专家建议构建名人图片识别模型作为"防火墙"对生成图片进行二次识别[38] - 《人工智能生成合成内容标识办法》于9月1日施行，明确不得恶意删除、篡改AI内容标识[39] - 2023年9月三部门发布指导意见强调利用"深度合成"技术发布违法信息需依法从重处罚[39] - 律师指出现行法律对"擦边"内容存在界定标准模糊、审核义务边界不明确等灰色地带[40]