AI技术滥用现状 - AI技术被滥用于制作不雅视频、克隆照片和恶意造谣，受害者包括高校导师、白领和公众人物等[1][6][8][9] - 社交平台上明星"AI换装"和"AI擦边"内容泛滥，成为流量密码，部分账号专门发布此类内容吸粉变现[2][10][11][13] 平台治理措施 - 小红书2025年上半年共处置治理虚假低质AIGC笔记60万篇，平台正加大AIGC识别模型研发投入并实施主动标识[24] - 抖音表示根据社区自律公约对低俗媚俗内容采取限制措施，无论是否通过AI生成[25] - 平台通常会在AI生成图片上标注"疑似AI创作，请谨慎甄别"等提示语，但律师认为仅标注不能自动豁免法律责任[27][28] AI应用实测结果 - 测试的12款AI应用中，5款（即梦、豆包、可灵、腾讯元宝和阶跃AI）可实现明星"一键换装"[32] - 9款应用（即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、腾讯元宝）能生成衣着暴露的"擦边"图片[40] - 部分应用如LiblibAI生成的图片尺度较大甚至露点，该平台模型创作者已突破两千万，累计生成图片逾5亿张[43] 企业回应与整改 - 星流AI和LiblibAI母公司承认新模型上线初期识别精度波动导致风险内容遗漏，已完成紧急修复优化[46][47] - 豆包和即梦表示严格遵守法律法规禁止生成色情内容，承认AI技术处于发展早期将持续改进[51] - 无界AI月独立设备数为13.5万台，公司称已采取多项防范措施[51] 技术防范瓶颈 - 专家指出拦截违规内容在技术上无根本难度，但需要消耗算力成本，可通过构建名人识别模型充当防火墙[55][56] - AI公司可对用户提示词进行合规改写，并对生成图片实施实时风险检测，但模型本身的大尺度内容漏过问题仍需解决[50] 法律监管环境 - 我国已出台多项法规包括《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等对AI内容进行规范[57][58] - 现行法律对"擦边"内容存在界定标准模糊、审核义务边界不明确等问题，导致灰色地带较多[60] - 2023年三部门联合指导意见强调利用深度合成技术发布违法信息的情形将依法从重处罚[59]