AI生成内容在短视频平台的滥用现象 - 主流短视频平台出现大量针对老年女性用户的“AI霸总”视频，这些视频使用AI生成穿着西装的男性形象，配以深情话术和抒情音乐，部分形象与明星“撞脸”，视频底部标注“作品含AI生成” [3] - 此类“AI霸总”视频点赞量动辄上千，评论区吸引大量老年用户热情互动，但背后存在情感变现风险，包括诱导带货或转账，有用户反馈家中老人因此陷入网恋骗局 [3] AI技术滥用导致的诈骗与侵权趋势 - 利用AI进行诈骗、造谣等违法犯罪行为近一年来屡禁不止、愈演愈烈，呈显著上升趋势，犯罪行为更具迷惑性和隐蔽性 [4] - 生成式AI技术的突飞猛进及持续开源开放，导致大量工具和产品问世，极大降低了不法分子的作恶门槛和成本 [4] - 公安部数据显示，2025年上半年全国电信网络诈骗涉案金额超百亿，仅2025年第一季度，全国AI换脸、拟声诈骗案件数量环比激增45%，其中老年群体受骗占比达到38% [6] AI换脸/拟声技术的商业化与侵权泛滥 - 在电商平台，定制一条以名人声音“讲话”的视频报价为200元，制作AI换脸视频的价格在20元至500元不等 [4][9][10] - AI侵权对象已从明星迅速蔓延至普通民众，让维权变得更加困难，有普通博主发现自己的脸被他人套用 [4][11][13] - 各类可自行操作的AI工具让换脸和拟声变得人人可及，国内外多款AI视频软件无需专业知识即可生成逼真人物视频 [10] 针对明星的AI侵权案例与影响 - 演员靳东的形象被不法分子利用AI换脸伪造，在短视频平台针对中老年群体实施情感诈骗与非法集资 [16] - 演员王劲松发文称自己的形象被某视频账号盗用并AI换脸，用于商业推广，原始素材来自其2020年拍摄的电视剧 [10] - 演员温峥嵘因网络上层出不穷的“AI分身”，被迫开启多场“我是真的温峥嵘”直播以正视听，其团队一天内曾举报50个假冒账号 [11] 法律与平台治理现状及挑战 - 法律层面，未经授权使用AI技术生成自然人面部特征、声音用于营利，构成肖像权侵权，北京互联网法院曾判令一起AI侵权案被告道歉并赔偿12万元 [16] - 平台治理方面，微信累计处置AI仿冒名人违规内容1.3万余条，封禁账号1200余个；抖音电商累计处置侵权仿冒达人账号1.1万个，处置仿冒李亚鹏等名人的侵权内容16.5万条，关闭136个相关违规达人电商权限并冻结佣金30天 [17] - 现有治理存在侵权成本过低、平台责任虚化、维权链条过长的困境，权利人需经历取证、公证、诉讼等漫长流程 [17] 技术鉴伪与未来治理方向 - 对AI的鉴伪被形容为一场“猫鼠游戏”，此消彼长，相互博弈，对AI骗局的识别需随着生成技术的进展不断研究、更新、迭代，没有终点 [18] - 部分AI技术平台开始采取限制措施，例如豆包旗下视频生成模型Seedance2.0上线后，禁止生成明星、公众人物、网红等真实人物肖像/视频/语音 [17] - 治理AI换脸乱象的关键在于对现有法律进行针对性修补，例如引入惩罚性赔偿机制，同时将平台责任从“事后删除”前移至“事前审核” [17]

案件概述 - 湖北省黄石市发生三起针对老年人的电信诈骗案件 三名老人均被冒充其孙子的诈骗电话所骗 每人被骗走2万元现金 总计6万元 [1][2] - 诈骗分子利用AI拟声技术高度还原被害人孙子的声音 并实现实时对话交互 使老年人难以识破 这是诈骗得逞的关键技术手段 [7] - 负责线下收取现金的“车手”吴某被法院以诈骗罪判处有期徒刑二年一个月 并处罚金人民币15000元 [3] 诈骗手法与过程 - 诈骗话术涉及“孙子在学校与同学发生冲突不慎失手伤人”以及“需到公安机关赎人”等紧急情况 利用老人的恐慌心理 [2] - 诈骗流程为：境外上线使用AI拟声技术冒充孙子致电老人 → 诱导老人准备现金 → 安排境内“车手”上门取款 [2][4][7] - “车手”吴某在取款过程中会再次接通“孙子”电话让老人亲耳确认 以加固信任 [2] - 吴某在2025年4月28日当天根据上线指令前往5个不同地点收取现金 其中3处作案成功 [4] 涉案人员与资金流向 - “车手”吴某受境外上线安排 明知是诈骗所得仍负责收取并转移现金 其行为被法院认定为诈骗罪共犯 [3][4] - 吴某从事此“高薪工作”的日报酬至少为1500元 [4] - 吴某取到现金后 按上线指示将钱放到偏僻地点 其对资金后续流向并不清楚 [5] - 案发后 吴某为争取从宽处理 凑齐6万元资金全额退赔给3名被骗老人 [2] 技术风险与防范建议 - 当前诈骗分子利用AI新型技术实施诈骗的主要手段包括“拟声”和“换脸” 通过模拟他人声音或形象骗取信任 [7] - 防范建议包括：不轻易相信熟人来电的紧急诉求 不急于转账 不透露银行卡密码和短信验证码 即“不听 不信 不转账” [8] - 建议通过主动询问仅双方知道的生活细节等方式 谨慎核实对方身份 [8]

电信网络诈骗定义与特征 - 电信网络诈骗是以非法占有为目的，利用电信网络技术手段，通过远程、非接触方式诈骗公私财物的行为 [1] 主要诈骗类型 - “杀猪盘”诈骗通过婚恋平台、社交软件寻找潜在受害者，利用聊天发展感情获取信任后，诱骗受害者进入博彩、理财等诈骗平台进行充值 [2][3] - 刷单兼职诈骗通过发布高薪兼职信息吸引受害者参与，再通过套路鼓动受害者投钱代刷，最终骗取所有投资钱财 [5] - 新型AI诈骗利用AI换脸技术，将一个人的面部特征和表情应用到另一张照片或视频中，实现人脸替换以冒充他人 [7][9] - AI拟声诈骗通过给受害人打骚扰电话提取声音样本，对声音素材进行合成后，利用伪造的声音实施诈骗 [10] 个人防护措施建议 - 保护个人信息，不向陌生人提供身份证号码、家庭住址等重要信息，并尽量减少个人照片、视频的泄露 [11][12] - 为银行卡、网上银行、手机银行设置复杂程度较高的密码，不向任何人透露或转发短信验证码或其它形式动态密码 [13][15] - 办理银行信用卡及额度提升等业务需通过银行官方微信平台、官方网站等可靠渠道申请，网购平台办理退款、退货应通过官方App渠道 [16] - 不要与他人共享屏幕，不要听信陌生人的转账汇款请求，遇熟人借款等情形应通过多种方式确认对方是否为本人 [16] - 应妥善保管个人银行卡，不可随意出借、出售给他人使用，以免触犯帮助信息网络犯罪活动罪 [16]

AI拟声技术滥用现象 - AI技术被大规模用于伪造名人声音进行商业欺诈，包括全红婵、张文宏、古天乐、雷军等公众人物被仿冒带货[3][7] - 最低仅需1元即可在二手平台购买"声音克隆工具包"，200元可定制明星AI配音，50元可克隆素人声音[7][10] - 技术门槛极低，仅需采集少量声音样本即可在几秒内完成克隆，应用商店相关App下载量最高超千万次[14] 行业影响与商业模式 - 短视频平台成为重灾区，仿冒账号利用综艺片段作为原材料，通过AI修改字幕和配音批量生产虚假带货视频[10] - 形成灰色产业链，商家通过AI伪造明星代言低成本引流起号，规避正规代言费用[10] - 涉事店铺多为2024年新注册账号，商品存在资质不明、厂商不清等问题，宣传素材高度雷同[11] 技术应用现状 - AI拟声技术已从娱乐用途（如"AI孙燕姿"翻唱）演变为商业欺诈工具[7] - 普通用户可通过198元会员服务生成任意内容的出镜口播视频，无需提供声音授权证明[14] - 社交平台存在超过4万条AI合成明星声音教程，二手交易平台克隆服务低至10元以内[15] 法律与社会应对 - 北京互联网法院2024年4月宣判全国首例"AI声音侵权案"，明确自然人声音权益保护范围[15] - 9月1日将上线"白名单制度"规范AI作品，但水印提示的实际效果存疑[15] - 专家建议需提高社会对真实性的鉴别能力，立法防止技术滥用[15]

AI拟声技术滥用现象 - 短视频平台出现数十个仿冒账号利用AI伪造全红婵声音售卖蜂蜜和驼奶粉 [2][3] - 去年12月出现伪造张文宏讲解蛋白棒的AI假视频导致大量中老年人受骗下单销量破千 [8] - 平台利用AI技术合成古天乐林峰等港星肖像声音制作赌博游戏代言宣传片 [8] - 小米CEO雷军声音被伪造用于虚假理财广告 [8] - 张馨予声音和表情被AI伪造用于推荐减肥药视频播放量高且难以辨别 [11][12] AI拟声产业链 - 电商平台提供明星声音200元一条素人50元一条的AI配音服务 [15] - 手机应用商店有数十款AI配音App下载量最高超千万次 [25] - 闲鱼App上一次AI声音克隆低至10元以内小红书相关帖子多达4w+条 [26] - 198元即可解锁付费会员功能生成各类出镜口播视频无需授权证明 [25] 行业影响与危害 - 热播综艺片段被批量篡改植入保健品减肥药广告形成流水线生产模式 [13][14] - AI拟声带货商品存在资质不明厂商不清问题涉事店铺多为2024年新注册账号 [17] - 平台缺乏AI生成内容提示客观上助推假带货风气 [17] - 技术滥用导致肖像权名誉权双重侵害同时增加消费者误购劣质商品风险 [16] 技术原理与门槛 - 只需采集声音频率音色声调等关键特征配合语速情感参数即可在几秒内完成克隆 [22] - 声音样本来源多样包括推销电话公开演讲客服回电等 [23] - 技术门槛相当于安装手机修图App且逼真度持续提升 [24] 监管与应对 - 北京互联网法院2024年4月宣判全国首例AI声音侵权案明确自然人声音权益保护范围 [28] - 9月1日将上线"白名单制度"要求AI作品"持证上岗" [28] - 目前平台标注"内容为AI技术制作"的实际效果存疑尤其对中老年群体 [29]