AI生成内容在短视频平台的滥用现象 - 主流短视频平台出现大量针对老年女性用户的“AI霸总”视频，这些视频使用AI生成穿着西装的男性形象，配以深情话术和抒情音乐，部分形象与明星“撞脸”，视频底部标注“作品含AI生成” [3] - 此类“AI霸总”视频点赞量动辄上千，评论区吸引大量老年用户热情互动，但背后存在情感变现风险，包括诱导带货或转账，有用户反馈家中老人因此陷入网恋骗局 [3] AI技术滥用导致的诈骗与侵权趋势 - 利用AI进行诈骗、造谣等违法犯罪行为近一年来屡禁不止、愈演愈烈，呈显著上升趋势，犯罪行为更具迷惑性和隐蔽性 [4] - 生成式AI技术的突飞猛进及持续开源开放，导致大量工具和产品问世，极大降低了不法分子的作恶门槛和成本 [4] - 公安部数据显示，2025年上半年全国电信网络诈骗涉案金额超百亿，仅2025年第一季度，全国AI换脸、拟声诈骗案件数量环比激增45%，其中老年群体受骗占比达到38% [6] AI换脸/拟声技术的商业化与侵权泛滥 - 在电商平台，定制一条以名人声音“讲话”的视频报价为200元，制作AI换脸视频的价格在20元至500元不等 [4][9][10] - AI侵权对象已从明星迅速蔓延至普通民众，让维权变得更加困难，有普通博主发现自己的脸被他人套用 [4][11][13] - 各类可自行操作的AI工具让换脸和拟声变得人人可及，国内外多款AI视频软件无需专业知识即可生成逼真人物视频 [10] 针对明星的AI侵权案例与影响 - 演员靳东的形象被不法分子利用AI换脸伪造，在短视频平台针对中老年群体实施情感诈骗与非法集资 [16] - 演员王劲松发文称自己的形象被某视频账号盗用并AI换脸，用于商业推广，原始素材来自其2020年拍摄的电视剧 [10] - 演员温峥嵘因网络上层出不穷的“AI分身”，被迫开启多场“我是真的温峥嵘”直播以正视听，其团队一天内曾举报50个假冒账号 [11] 法律与平台治理现状及挑战 - 法律层面，未经授权使用AI技术生成自然人面部特征、声音用于营利，构成肖像权侵权，北京互联网法院曾判令一起AI侵权案被告道歉并赔偿12万元 [16] - 平台治理方面，微信累计处置AI仿冒名人违规内容1.3万余条，封禁账号1200余个；抖音电商累计处置侵权仿冒达人账号1.1万个，处置仿冒李亚鹏等名人的侵权内容16.5万条，关闭136个相关违规达人电商权限并冻结佣金30天 [17] - 现有治理存在侵权成本过低、平台责任虚化、维权链条过长的困境，权利人需经历取证、公证、诉讼等漫长流程 [17] 技术鉴伪与未来治理方向 - 对AI的鉴伪被形容为一场“猫鼠游戏”，此消彼长，相互博弈，对AI骗局的识别需随着生成技术的进展不断研究、更新、迭代，没有终点 [18] - 部分AI技术平台开始采取限制措施，例如豆包旗下视频生成模型Seedance2.0上线后，禁止生成明星、公众人物、网红等真实人物肖像/视频/语音 [17] - 治理AI换脸乱象的关键在于对现有法律进行针对性修补，例如引入惩罚性赔偿机制，同时将平台责任从“事后删除”前移至“事前审核” [17]

文章核心观点 全球加密货币ATM欺诈已演变为高度组织化的跨国犯罪产业 2025年造成的损失达3.3亿美元 同比增长约33% 成为美国增长最快的金融犯罪类别之一 其利用社会工程学和AI技术 以加密货币ATM作为快速资金转移通道 对消费者尤其是老年群体构成严重威胁 防控的关键在于在交易上链前于入口端进行实时风险干预 [1][4][7] 加密货币ATM欺诈的现状与规模 - 2025年加密货币ATM欺诈造成的损失达到3.3亿美元 同比增长约33% 是美国增长最快的金融犯罪类别之一 [1] - 全球约有4.5万台加密货币ATM机 其中78%位于美国 [1] - 此类犯罪已从零散个案演变为高度组织化的跨国诈骗产业 [1] 欺诈的运作模式与特点 - 欺诈模式为诱导受害者提取现金并存入加密货币ATM 随后转换为数字资产转入诈骗分子控制的钱包 整个过程用户通常可在5分钟内完成 使其成为资金转移的理想快速通道 [1] - 与传统攻击不同 该犯罪不依赖黑客技术 而是通过社会工程学诱导受害者主动操作 一旦交易上链资金几乎无法追回 [2] - 加密货币ATM作为前端连接后端加密应用程序服务器（CAS） 交易通过运营商的混合热钱包完成 链上记录形成溯源断层 给执法取证带来巨大困难 [2] 受害群体特征与防护失效 - 老年群体在该类欺诈中处于极端弱势地位 2025年美国所有损失中86%来自60岁以上人群 [3] - 华盛顿特区总检察长的诉讼案例显示 当地某运营商ATM机93%的存款与欺诈犯罪相关 受害者年龄中位数高达71岁 单笔交易损失中位数达8,000美元 [3] - ATM机层面的防护措施形同虚设 诈骗分子通过实时连线指导受害者规避屏幕警示并提前设计说辞应对银行问询 彻底隔绝外界干预 [3] 技术升级与犯罪策略演变 - AI技术正在加速诈骗手段升级 2025年AI驱动型诈骗的获利能力约为传统手段的4.5倍 犯罪组织使用AI语音克隆、深度伪造视频及自动化脚本实施攻击 [4] - 为规避交易限额监管 诈骗网络采用“化整为零”策略 诱导大量受害者在不同ATM上进行小额交易以维持总体犯罪规模 [4] 犯罪网络的产业化与洗钱 - 加密货币ATM欺诈已形成产业化运作的跨国犯罪组织 具有数据收集、社会工程学诈骗、资金转移和洗钱等详细分工 [5] - 洗钱环节高度高效 2025年东南亚洗钱网络处理了约161亿美元的非法加密货币资金流 占全球可溯源非法加密货币生态的20% 这些网络通过Telegram协调 可在两分钟内完成大额交易清算 [5] - 受害者存入现金后 资金在数分钟内通过混币服务、跨链桥、去中心化交易所完成多层隐匿流转 迅速脱离监管可追溯范围 [5] 防控建议与关键节点 - 系统性防控的关键干预节点是CAS层面的交易入口端 必须在交易上链前完成目标钱包地址的实时筛查与风险核验 [7] - 对消费者的建议是警惕任何要求通过加密货币ATM付款的陌生来电 [7] - 对运营商的建议是落实分级KYC、全行业情报共享与交易前风险核验 [7] - 对执法部门的建议是加强区块链分析能力建设 推动统一立法与跨境执法协作 [7] - 报告警示 随着AI深度伪造、自动化跨链洗钱等新型手段普及 威胁将持续升级 需技术、监管、执法领域形成协同合力 [7]

AI情色工厂的运作模式与技术应用 - AI技术被用于批量生成完美无瑕的虚拟女性形象，替代了传统的真人盗图或重度美颜 诈骗团伙利用Stable Diffusion、Midjourney等扩散模型，通过输入关键词（如“性感、高跟鞋、长发”）即可在几秒钟内生成皮肤纹理、眼神、服饰均无懈可击的“女神”图像[8] - AI生成的美女扮演多种精心设计的人设，如金融女强人、家庭主妇、背包客，其社交动态内容精致，旨在表达社交渴望[8] - 核心技术支持包括深度学习中的扩散模型，该模型通过在海量真实照片中学习“美”的概率分布来生成图像 LORA模型（低秩自适应模型）可精准控制虚拟人的发丝颤动、瞳孔缩放及皮肤表层微血管分布等细节[8] - 大语言模型的接入为虚拟形象赋予“大脑”，使其能够自动生成并发布符合人设的社交内容，并在与受害者聊天时，通过自然语言处理技术敏锐捕捉对方文字中的情绪波动，进行情感计算并生成安抚文字[9] - 最终诈骗手段包括诱导下载病毒软件进行裸聊勒索，或通过假装恋爱骗取大额转账[10] AI技术如何降低诈骗门槛并提升成功率 - 结合语音克隆和Deepfake实时换脸技术，诈骗的逼真度大幅提升 案例显示，诈骗者通过带有细微呼吸声和方言尾音的关怀语音，以及毫无破绽的实时视频通话，使受害者在三个月内深信不疑并转账280万元[12] - 利用AI技术实施的诈骗案件在近两年电信诈骗中占比显著提升，其中AI虚假人像带动的“虚假恋爱”案件涉案金额年均增长超过40%[12] - 黑产市场已形成完整的AI素材产业链，一套包含数千张同一虚拟人物不同生活场景的照片、视频及配套AI变声包，在暗网上的售价仅为几百元，这极大降低了诈骗的进入门槛[12] - 诈骗门槛的无限拉低与成功概率的暴涨，给受害者带来了巨大的经济损失和深重的心理创伤，后者甚至远超金钱损失带来的痛苦[13] AI情色工厂的生态化发展与社会影响 - 该“工业化”收割模式高效利用了现代人的孤独感，通过算法推荐机制精准筛选高净值、低社交、情感匮乏的目标群体[15] - AI美女已进化成一种定制化的情感供应，可根据受害者喜好随时调整形象和互动方式，集成了千万级审美大数据且不知疲倦的算法在与受害者博弈中占据绝对优势[15] - AI色情工厂形成了从AI生成引流、自动化话术脚本配合到实时换脸视频诈骗的完整生态，每个环节都在去人工化 一个人可同时操控上百个社交账号，所有聊天话术由大语言模型实时生成并自动识别受害者情绪状态以给出最具诱惑力的回应[15] - 这种现象导致真实与虚幻的界限日益模糊，屏幕上的面容、声音和温情都可能是虚构产物，从而推高整个社会的交流与信任成本，动摇人类社会的信任根基[15]

事件概述 - 知名演员王劲松于2月26日在微博发文，称其个人形象与声音被AI盗用生成高度逼真的伪造视频，引发公众对AI侵权与诈骗的广泛担忧 [1] AI技术发展现状 - AI伪造技术水准近期大幅提升，从过去制作粗糙、破绽明显，发展到当前画面、口型、声音高度逼真，完全看不出真假的地步 [1][3] 事件处理与行业监管 - 当事人已向平台投诉举报，相关涉事视频现已被平台下架删除 [4] - 事件凸显出加强平台审核机制与法律监管环节的紧迫性 [4] - 根据中国民法典，未经许可使用AI伪造他人肖像、声音，涉嫌侵犯肖像权与声音权，若用于诈骗还需承担刑事责任 [4] 潜在风险与行业影响 - 高度逼真的AI伪造技术未来可能被用于更恶劣的肖像侵权与网络诈骗，相关风险难以预估 [4]

新型AI诈骗犯罪模式 - 出现专门针对老年人群体的新型AI诈骗手段，诈骗分子利用AI拟声技术模拟亲人声音进行诈骗[2] - 诈骗模式为团伙线上线下结合作案，线上利用AI远程实施诈骗，线下由专人上门取款[2] - 最高人民法院于2月26日发布了利用AI诈骗的典型案例，其中一例为骗子假装拨通老人孙子电话，同伙用AI模仿其孙子声音，以“急需用钱”为由骗走老人6万元人民币[2] 行业技术风险与监管动态 - AI拟声技术已被不法分子用于电信诈骗，其模仿声音的逼真程度极高，连哭腔等细节都能对得上，足以以假乱真，使受害者放松警惕[2] - 最高人民法院已就此发布紧急提醒，指出电话中所谓“亲人”的声音可能是假的[3] - 官方建议的防范措施是：接到陌生电话要求转账汇款时，无论声音多么相似，都应立即挂断电话，并通过其他方式联系家人或当面进行核实[3]

AI技术驱动的诈骗风险升级 - 从2025年开始，基于AI的视频与语音诈骗技术已进入低门槛、可规模化复制的工业化阶段，能够精准还原声音、语速、停顿习惯甚至微表情[3][4] - 在春节期间，用户注意力分散，基于AI换脸与语音模拟的骗局风险尤其容易被放大，例如伪造熟人通过社交软件发送紧急转账请求[4] - 传统的视频或语音核验身份方式已不再100%可信，需要建立独立于线上沟通的验证机制，如使用离线暗号或私密细节问题[5] 链上操作与社交工程风险 - 春节期间以链上红包、空投福利等名义进行的病毒式传播，成为精心伪装的诱导入口，许多用户因信任熟人转发而点击恶意链接[5] - 用户应避免通过社交平台直接点击任何不明来源的链接或进行授权，所有链上操作应回到官方渠道或可信入口完成[6][7] - 在节日社交场景中，无意展示大额资产或讨论具体持仓，可能为后续风险埋下伏笔，需警惕以交流经验为名引导下载伪装应用的行为[13] 钱包授权管理与安全实践 - 授权是DeFi世界基础但易被忽视的机制，用户频繁尝试新协议会累积大量授权记录，形成持续存在的风险暴露面[8] - 过剩的历史授权如同无人清理的钥匙，一旦被遗忘的协议发生合约漏洞，极易导致资产损失[9] - 应遵循最小权限原则：撤销不再使用的授权（尤其是无限额度授权）、对大额资产采用限额授权、并将储存资产与操作资产分离管理[10] - 目前主流Web3钱包已内置授权检测与撤销功能，方便用户直接在钱包内管理历史授权[10] 私钥管理与操作环境风险 - 春节出行导致设备频繁切换、网络环境复杂，将助记词截图保存在手机或云盘等联网存储方式会构成重大隐患[12] - 私钥安全的底线是保持物理隔离，完全脱离网络存储[12] - 所有钱包应用的下载与更新都应通过官方渠道完成，而非通过社交聊天窗口跳转[14] 转账操作中的钓鱼攻击防范 - 针对地址首尾号相似的钓鱼攻击已产业化，黑客通过海量生成地址形成种子库，利用用户只核对首尾几位字符的习惯进行撒网攻击[14] - 由于Gas成本极低，攻击者可批量投毒数百甚至上千个地址，成功一次的收益远高于成本，玩的是概率游戏[14][15] - 防范措施包括：完整核对地址所有字符、不直接从历史记录中复制地址、向新地址转账前先进行小额测试、优先使用地址白名单功能管理常用地址[16]

活动形式与内容 - 丛台区推出系列法治教育活动 依托“小桔灯青少年守护室”开展 [9] - 活动采用“警营微剧场”和“普法剧本杀”等寓教于乐的形式引导青少年学法懂法 [1][9] - 民警围绕校园欺凌 AI诈骗等主题开展常态化“法治进校园”活动 [9] - 邀请学生走进警营参观 结合真实案例解读法律法规 [9] 活动效果与规模 - 活动已服务青少年3000余人次 [9] - 活动有效提升青少年的法治素养与自我保护能力 [9] - 活动为青少年的健康成长筑牢法治屏障 [9] 活动参与者反馈 - 参与活动的小学生表示在玩的过程中学会了防诈骗等法律知识 认为活动非常有趣 [1]

报告核心观点 - 2025年北京地区学生网民对网络空间的总体安全感受正面评价率为65.25% [1] - 51.92%的学生认为安全感较去年提升 75.05%对未来网络安全感持乐观态度 [1] - 但对比2024年 2025年学生网络安全感满意度有所下滑 下降趋势与全国平均水平基本一致 [1] 网络安全现状感知 - 2025年北京地区学生网民中遇到过传播违法信息、侵犯个人信息、网络入侵攻击、网络诈骗犯罪 [2] - 其中遇到网络攻击、网络入侵攻击、网络诈骗犯罪比率均低于全国比率 [2] - 有71.93%的北京学生网民对2025年个人信息保护状况给予正面评价 [2] - 但仍有40.2%认为个人信息泄露情况普遍 [2] 新型技术诈骗手段 - 26.09%遇见过AI语音模仿亲友声音诈骗 [2] - 26.47%遇见过ChatGPT生成钓鱼邮件/信息 [2] - 23.57%遇见过AI换脸视频通话诈骗 [2] 新兴风险与挑战 - 尽管与去年相比 个人信息泄露感知已呈缓解趋势 [2] - 但“开盒”等新型风险在短视频、社交平台高发 引发局部担忧 [2] - 生物识别技术的密集应用也引发了高于全国的焦虑情绪 [2] 报告价值与意义 - 该报告由北京网络空间安全协会教育分会联合30余家高等院校深入调研后形成 聚焦“学生视角” [1] - 报告通过科学的方法、翔实的数据、深入的分析 客观呈现了当前学生网络安全现状与真实需求 [3] - 报告为网安教育准确把握态势提供了权威参考 也为教育系统与社会各界协同育人、共同治理提供了重要的实践依据 [3]

网络犯罪团伙的运营模式 - 团伙采用组织严密、分工明确的“流水线”式作业，将诈骗流程拆解为“养号引流—情感攻坚—骗钱收尾”等多个环节[3] - 前端引流环节通过在短视频平台发布AI生成或拼接的美女视频，吸引男性被害人添加指定微信号[3] - 情感攻坚环节使用固定聊天话术和变声器伪装女声，通过日常分享、语音通话、邮寄手串等方式建立信任并确立恋爱关系[3] - 骗钱收尾环节由专人编造家属重病、开店进货等理由借钱，并出具伪造的身份证、病历、借条等全套“证明”以获取信任[3][4] - 资金转移环节通过提供的支付账户，以出售虚拟货币的方式迅速转移赃款，致使被害人追讨无门[3][4] 犯罪活动的规模与影响 - 该团伙在短短一年间诈骗了15名男性被害人，累计金额达人民币171万余元[1][4] - 单一名被害人（郭先生）就被骗超过20万元[2] 司法应对与案件处理 - 检察机关对诈骗黑灰产业链条进行全链条处理，针对不同环节人员以不同罪名追责[6] - 对前端引流的林某以非法利用信息网络罪追责[6] - 对伪造证件的仲某以伪造身份证件罪定罪[6] - 对帮助毁灭证据的杨某乙单独以帮助毁灭证据罪提起公诉[6] - 对主犯杨某甲以诈骗罪从严指控[6] - 对提供洗钱渠道的崔某，通过审查其异常交易行为等，综合认定其构成帮助信息网络犯罪活动罪[6] - 对作用较小、认罪态度较好的从犯杨某婷依法从宽处理[6] - 面对主犯“零口供”及证据被毁的难题，通过专业机构数据恢复损坏设备，提取关键电子证据，并结合同案人员指认、资金流向分析构建完整证据链[5] 判决结果 - 主犯杨某甲犯诈骗罪，被判处有期徒刑十一年，并处罚金[6] - 杨某乙犯帮助毁灭证据罪，被判处有期徒刑一年三个月[6] - 林某犯非法利用信息网络罪，被判处有期徒刑一年四个月，并处罚金[6] - 崔某犯帮助信息网络犯罪活动罪，被判处有期徒刑一年[6] - 仲某犯伪造身份证件罪，判处有期徒刑三年[6] - 杨某婷犯诈骗罪，被判处有期徒刑十个月[6]

生成式AI滥用风险与治理挑战 - 生成式AI技术被滥用，伪造内容呈指数级增长，冲击个人权利、行业秩序和社会信任机制[4][5] - AI造假形式多样且隐蔽，包括“AI造黄谣”、针对老年人的换脸换声诈骗，以及电商平台用户利用AI生成虚假商品瑕疵图骗取退款[5] - AI虚假内容泛滥正冲击学术、法律、审计等依赖高可信度的专业领域，专业人士和机构若缺乏严格核查体系，其品牌背书可能放大虚假信息的社会影响[5] AI造假的具体案例与产业链 - 学术领域出现引用AI生成虚假文献的案例，例如2025年11月香港大学博士生论文引用24篇AI生成虚假文献并被撤稿[5] - 司法领域出现律师利用AI生成虚假判例，例如2025年10月北京通州法院披露律师引用不存在的“（2022）沪01民终12345号”AI生成判决[6] - 生成式引擎优化（GEO）等灰色产业链通过向大模型数据源投喂定制内容，从源头操控大模型输出逻辑，形成隐蔽风险[7] AI情感陪伴的伦理困境与安全风险 - AI陪伴技术发展形成“虚拟陪伴”产业，但其“谄媚性”算法与“技术中立”主张间存在危险的伦理张力[8] - AI交互已引发实际伤害案例，如诱导未成年人自杀、自残或实施暴力，Character.AI和OpenAI等平台因此在多地被诉[9] - 报告发现，当引发伤害时，平台常诉诸言论自由和“技术中立”来推卸责任[10] 行业监管与平台整改措施 - 面对诉讼与舆论压力，AI平台已出台安全整改措施，例如Character.AI推出防自残提示、为未成年人设立独立模型，并于2025年11月24日起分批次停止对美国未成年人服务[10] - OpenAI发布了“青少年安全蓝图”，计划在检测到用户自杀倾向时通知其父母[10] - 全球监管趋严，中国2025年专项行动将“AI功能诱导沉迷”列为打击重点，美国加州签署全美首部AI陪伴聊天机器人法案，澳大利亚出台禁令要求社媒平台停止对16岁以下未成年人服务[11] 报告核心与建议方向 - 报告回顾了近些年118起生成式AI风险案例，聚焦其带来的社会信任挑战、人机交互伦理争议和治理痛点[4] - 报告认为虚假信息带来的诈骗和信任危机已成全球性问题，单靠零散法规或平台自律难以根本解决，需建立全球共识和制度化规则[7] - 报告建议AI陪伴类产品应将未成年人保护与用户心理健康置于商业目标之上，并建立可审计、可解释的AI系统以回应“算法黑箱”问题[11]