AI造假治理

搜索文档
面对AI 营销,消费者选择“用魔法打败魔法”
36氪· 2025-09-11 11:32
AI生成内容在电商行业的滥用现状 - 电商平台出现消费者使用AI生成虚假产品破损图片申请退款的情况 商家发现图片右下角有AI水印但平台系统仍自动通过退款申请 [1] - 部分淘宝商家从2023年开始使用AI换脸和AI生图技术伪造产品展示图 在评论区放置AI图片造成商品材质和版型与实物严重不符 [2] - 淘宝于2024年3月出台AI假图约束措施 上线识别模型对材质不符 效果失真 抠图明显的图片进行拦截 [4] 外卖平台的AI图片泛滥与治理 - 美团 饿了么等外卖平台出现商家使用AI生成虚假门店环境图 包括锐化招牌 明亮大堂 拥挤顾客等虚假场景 [6] - 美团和饿了么均成立专项小组治理AI伪造内容 但用户开始反向使用AI图片伪造售后证据进行"0元购" [10] - 印度餐饮平台Zomato因AI生成餐食图片遭客户投诉 CEO宣布平台全面禁止AI生成的菜品图片 包括营销团队 [14][16] 海外平台的AI内容乱象 - 亚马逊平台随机抽取的30000条美容产品评论中 约5%(1500条)由AI撰写 其中93%(约1395条)带有"已购买"标记 [10] - TikTok出现伪造MrBeast(YouTube订阅最高频道)的AI换脸带货广告 被本人公开指摘 [10] - Uber Eats为150多万商家提供AI工具 包括提炼用户评论 补充菜单描述 优化构图不佳的返图等 [17] 平台治理面临的技术挑战 - 平台审核员逐渐被AI替代 形成"既当裁判又当运动员"的复杂局面 AI检测常出现误判 [12] - AI造假成本呈指数级下降 但溯源核对成本成倍上升 单一平台监管力不从心 [20] - 深度伪造内容传播速度超过处理速度 跨平台缺乏统一规则和判定标准 [19] 品牌方应对策略与影响 - 美妆品牌全面禁止2C素材使用AI直接生成 避免消费者产生不真实感和欺诈嫌疑 [22] - 品牌采用AI工具识别假视频假评论 加数字水印 舆情监控 官方澄清等多重防线 [23] - AI虚假内容污染品牌数据源 导致对市场趋势和用户偏好的误判 造成长期战略偏差 [23] 行业生态与发展方向 - AI生成内容治理比盗版时代更复杂 矛盾从所有权归属转向真实性边界 [20] - 部分观点认为双向AI诈骗可能成为重构品牌与消费者关系的转折点 [24] - 行业需要建立更真实坚固的信任关系 而非单纯追求获利 才能实现多方共赢 [26][27]
根治AI造假“起号”,技术赋能是关键
人民网· 2025-08-14 08:51
AI生成内容滥用现象 - 社交媒体上AI生成视频关注度高 细节丰富令网友信以为真 内容包括外国人唱中文歌 银发奶奶传授养生秘诀 氛围感女孩分享穿搭美学等 [1] - 部分社交账号利用AI技术造假博眼球快速吸粉起号 进而通过电商带货 账号转卖等方式变现 形成起号 转型 转卖的灰色产业链 [1] - 生成式AI工具普及大幅降低起号门槛 在单账号月入过万利益驱动下 操作者瞄准情感 养生 美妆等易引发共情领域 用AI生成银发奶奶 美女博主等形象精准吸引特定群体 [1] 平台治理与监管行动 - 多个平台对AI起号现象开展专项治理行动 清理违规内容并封禁部分账号 [1] - 中央网信办2023年4月启动清朗·整治AI技术滥用专项行动 7月开展清朗·整治自媒体发布不实信息专项行动 均将AI造假列为重点整治内容 [2] - 平台需构建识别—拦截—溯源技术体系 用深度模型精准识别伪装AI内容 建立违规账号黑名单 定向阻断变现链条 [3] 技术挑战与法律风险 - 技术对抗持续上演 造假者通过压缩文件 修改代码等方式规避平台AI识别 增加监管难度 [2] - 法律适用存在模糊地带 AI生成内容标注义务 虚拟账号归属等问题缺乏细化规定 导致追责陷入取证难 认定难困境 [2] - 账号交易多通过加密聊天工具进行 资金流向隐蔽 给溯源打击带来挑战 [2] 治理解决方案 - 监管部门与网络平台手握更雄厚技术资源 更完整数据链条和更强大研发能力 能够通过技术赋能实现对新技术的冒头即打 露头就灭 [3] - 监管部门可搭建全国性监测平台 追踪账号交易异常 解码隐蔽交易信息 联动打击产业链节点 [3] - 需畅通技术化举报渠道 形成全民监督合力 让灰色产业链失去滋生土壤 [3]