文|妙 在科技的发展下，AI似乎也逐渐走进了大家生活中。 然而，在这个信息爆炸的时代，流量变现成为了更多人追求的目标。 于是便有人利用AI技术将知名度高且有公众信服力人的脸放在网络上牟利。 李梓萌作为央视主持人，她说的话可是很多人都深信不疑的。 所以有人便用她的脸开始带货，不论是说话还是央视演播厅的背景都一模一样， 导致很多不知情的人在看到李梓萌推销产品的时候都以为这是央视推荐的东西，纷纷下单购买。 毕竟，对于一些年纪大的人来说，他们根本不知道查一查产品是否有批文。 就是因为看到新闻联播主持人都在推荐了，便相信她的话是真的。 然而，让他们想不到的是，这根本是别人假冒的人在推荐产品， 而且这些产品的成本价仅仅几块钱就敢卖上几百元。 甚至还有人叫身边的人一起买，于是便越来越多的人相信这是国家认可的产品。 李梓萌"诈骗" 其实，早在这之前，在一档综艺节目《王牌对王牌》中就有明星亲自示范进行过一场反诈宣传。 他们通过现场换脸的方式，向身边的好朋友借钱。 当时对比图一出现，很多人都表示太像了，完全可以以假乱真的地步， 有些亲人在看到之后都表示犹豫了。 而节目之所以这样，也不过是现在被诈骗的人太多了，提前做出来让大家警惕 ...

案件核心事实与判决 - 南京某科技公司运营一款名为“AI 视频换脸”的微信小程序，将网红或明星的肖像视频上传作为“AI 换脸”模板供付费会员使用 [1] - 涉案短视频由宋某拍摄剪辑、赵某出镜，在该小程序中被编号为“古风汉服177”，用户需花费50金币实现换脸 [1] - 法院认定涉案短视频体现了宋某个性化编排，具有独创性，属于著作权法保护的视听作品 [2] - 法院认为现有证据不足以证明被诉侵权视频系用户自行上传，被告公司对用于换脸的视频模板进行了分类和编号，并从小程序用户付费开通会员的模式中参与收益 [2] - 法院判决被告公司行为侵害了宋某对作品享有的信息网络传播权，赔偿原告经济损失3000元，二审维持原判 [2] 行业运营模式与法律责任 - AI换脸技术是一种逼真交换面孔的新视频技术，在影视制作、游戏开发及社交平台“二创”中得到广泛应用 [3] - 平台若自行上传素材，应获得版权许可协议；对于用户上传的素材，平台应承担审慎审核的义务 [3] - 采用用户付费开通会员的模式是相关运营企业创新盈利模式的一种方式 [2][3] - 运营企业或平台在采用新技术时，应遵守行业治理底线，对上传的合成模板所涉作品、肖像、个人隐私等要素尽到必要的管理和审慎审核义务 [3] 技术应用的法律风险 - AI换脸技术本身中立，但对隐私权和人格权带来新的冲击，需要法律予以规制避免滥用 [3] - AI换脸涉及的法律风险包括侵犯肖像权、著作权、名誉权、公民个人信息等 [3] - 本案因涉及人工智能的热点问题及裁判的示范价值，入选中国法院2025年度案例 [1][2]

AI深度伪造技术发展现状 - AI深度伪造技术已高度成熟，能够逼真模仿人物面部特征、口型变化、肌肉牵动及神态，实现以假乱真[4][35] - 技术门槛大幅降低，大量用户友好型应用程序和平台涌现，使深度伪造技术平民化、普及化[38] - 深度伪造技术利用深度学习算法，通过"喂给"目标人物图像和视频数据来捕捉并模仿个人特征[35] AI换脸侵权事件规模与范围 - 侵权范围覆盖明星、主持人、奥运冠军等公众人物，如温峥嵘、刘涛、张柏芝、刘晓庆、李梓萌、张伯礼院士、全红婵等均遭遇AI换脸[6][10][12][14][20] - 英伟达CEO黄仁勋的AI分身同步开启加密货币直播，吸引观众数量超过真人直播[16] - 普通人群成为新目标，青岛保时捷销冠牟女士被伪造不雅视频，韩国Deepfake事件涉及未成年人、教师、军人等广泛群体[26][30] AI换脸黑灰产业链特征 - 形成完整产业链，服务明码标价：换脸换声463元，只换声音228元，均可定制话术[41] - 黑产工具伪装成普通绘图软件，明确标注"可实现换头换衣功能"，并兜售诈骗软件和教程[41] - 数字内容生成扩散速度极快，每次转发分享都会模糊原始痕迹，增加追踪难度[38] 技术滥用带来的社会危害 - 被广泛用于带货诈骗，如假杨幂卖服装、假古天乐代言游戏、假全红婵销售土蜂蜜等[18][20][22] - 成为造谣工具，薛凯琪被编造恋情，泰勒·斯威夫特被生成虚假色情图片，雷军形象被篡改[24] - 针对普通人的精准诈骗升级，已出现伪装亲属视频借钱、冒充高管指令转账等案例，单笔诈骗金额最高达2亿港元[32][33] 监管与技术对抗困境 - 技术发展速度远超法律制定流程，监管存在明显滞后性[39] - 检测技术与伪造技术持续博弈，伪造技术快速进化导致检测技术始终处于落后状态[38] - 跨境执法面临挑战，韩国调查人员需要法院批准才能进入聊天室，但往往发现时犯罪窝点已消失[39]

核心观点 - AI换脸等技术滥用现象频发，操作门槛和违法成本极低，而监管和追责难度大，未来治理需依赖“用AI治AI”的技术博弈并构建完善的制度护栏 [3][5][13] 技术滥用现状 - 北京协和医院多名知名专家被AI换脸，用于“养生”“瘦身”等虚假宣传，甚至有AI生成的假医生打着医院旗号销售商品，相关话题阅读量超282万 [3] - 在某社交平台搜索“协和医院于康教授”，存在大量相关健康科普短视频，内容在介绍水果后为某养生讲堂公众号引流 [6] - AI换脸工具高度普及，手机小程序、开源软件使操作简化为“一键生成”，单次换脸成本低至几分钱 [6] - 苹果应用商店中，星绘App、脸猫App及AI换脸App的下载量分别达到21万、6.9万和3.2万 [7] - 电商平台有商家提供AI数字人克隆服务，参照人物形象和文案，最快2小时即可产出无AI水印的1:1克隆短视频，200字以内文案收费45元 [7] 违法成本与维权难度 - 多数案件仅处行政拘留或小额罚款，民事赔偿数额有限 [3][7] - AI深度伪造视频鉴别成本远高于造假成本，权利人维权周期长、程序复杂，部分权利人最终放弃维权 [8] - 制作商提出的免责声明无效，不能免除侵犯肖像权、欺诈消费者等法定责任 [11] 监管与溯源挑战 - 不法商家通过镜像翻转、画中画遮挡、对抗性噪声嵌入等方式规避检测，监管技术难以实时跟进 [9] - 平台监管被动，多以事后处理为主，处理速度远不及AI造假传播速度 [9] - 发布者和制作方有“脱身之道”，如在视频下方标注“AI生成，内容仅供参考”等小字提示 [11] 治理举措与未来方向 - 政策法规不断完善，如网信办开展“清朗·整治AI技术滥用”专项行动，《人工智能生成合成内容标识办法》于今年9月1日实施 [12] - 网信部门已清理相关违规信息8700余条，处置仿冒公众人物账号1.1万余个 [12] - “用AI治AI”是重要治理思路，AI治理技术围绕“侦测、溯源、阻断”展开，具有高效率与自动化特点 [13] - 未来治理需明确平台审查责任、发展溯源和水印技术、制定具体操作指南、加强国际司法协作 [12][13]

违法成本低 在某社交平台上，北京商报记者搜索"协和医院于康教授"的词条发现，目前还有不少与该教授有关的健 康饮食科普短视频在传播。以其中某条打出"于康教授：你知道吗？这7种水果对身体好处非常多"的短 视频为例，该视频只能看到教授肩颈以上的部位，背景图以山水画为主。在内容方面，视频中在介绍完 对肝脏好的7种水果后，开始为某养生讲堂引流，称在添加其公众号后可以免费领取相关食疗养生课 程。 在天使投资人、资深人工智能专家郭涛看来，"AI换脸"不法商用现象频发与操作门槛低密不可分。目 前，在技术层面，AI换脸工具已高度普及，手机小程序、开源软件让操作简化为"一键生成"，单次换脸 成本低至几分钱，无需专业知识即可完成。 11月17日，话题#医生被AI换脸卖洋葱减肥食谱登上微博北京同城榜，截至发稿，该话题阅读量已超 282万。据悉，北京协和医院不少知名专家被AI换脸，用于"养生""瘦身"等虚假宣传，甚至还有不法商 家利用AI生成假医生，打着北京协和医院的旗号销售各类商品，误导消费者。有分析认为，目前AI换 脸技术门槛低、成本低，即便违法行为被查处，其违法成本偏低，承担后果较轻，难以形成有效震慑。 同时，其伪造内容传播快， ...

AI仿冒明星侵权现象 - AI换脸技术被滥用于创建明星数字分身进行直播带货和虚假宣传，受害者包括演员温峥嵘、张柏芝、刘涛、央视主持人李梓萌、奥运冠军全红婵等一线顶流、翻红老戏骨及公众人物[2][3][13][16] - 侵权账号粉丝量从几百到数十万不等，构成金字塔式灰色流量生态，部分虚假带货视频点赞量高达1.1万，商品链接显示已售出4.7万件[2][16] - 温峥嵘团队在一天内举报了18个假直播间，但侵权账号采用打时间差策略，在凌晨等平台监管薄弱时段直播，账号封禁后立即更换ID卷土重来，维权成本高且效果有限[6][26] 侵权内容与欺诈手段 - AI仿冒内容多为精心策划的骗局，例如通过碎片化影像剪辑、拼接配以伪造台词，炮制明星集体致歉等虚假视频，利用情感共鸣诱导粉丝下单[3][4][19] - 带货商品高度集中在化妆品、护肤品、保健品等高频或暴利品类，价格区间从7.8元至300多元，以明星自用为噱头，依赖明星信誉背书[23][24][27] - 欺诈分子通过AI克隆明星声音和面部，模仿其腔调及形象，营造手慢无的抢购氛围，受骗群体以对AI技术认知薄弱的中老年人为主，有消费者被骗金额近万元[16][20][21] 灰色产业链与技术支持 - AI换脸黑灰产已形成牟利闭环，涵盖上游数据获取、中游技术生成、下游场景应用及洗钱变现环节，人脸识别教学视频及人脸提取业务售价低至49.9元[33][38] - 技术提供方承诺1980元即可永久使用AI换脸服务，包含训练人脸模型、远程安装调试及售后，支持明星脸部替换且不加价，生成数字人可实时互动直播带货[32][33] - 灰色产业链衍生局中局骗局，例如售卖虚假AI克隆直播引流教程，以298元试学课程为诱饵，甚至展示AI生成的学员答谢视频进行二次欺诈[40][41] 平台治理与行业挑战 - 抖音平台启动仿冒名人宣传专项治理，处置1.1万个违规带货账号、6700多个违规商品，拦截数万条侵权视频，但AI内容侵权识别仍是行业性技术难题[28] - 现有法规如《人工智能生成合成内容标识办法》要求AI生成内容亮明身份，但平台审核海量内容存在疏漏，商家刻意规避标识，新规落地效果打折扣[42][43] - 法律未清晰划定技术提供方、内容生成者、直播平台、商家等多方责任，给维权带来极大难度，平台与侵权账号的技术对抗持续升级[28][43]

宏观经济与就业 - 10月份全国城镇调查失业率为5.1%，较上月下降0.1个百分点，1-10月平均值为5.2% [1] - 10月本地户籍劳动力调查失业率为5.3%，外来户籍劳动力调查失业率为4.7%，其中外来农业户籍劳动力调查失业率为4.5% [1] - 10月31个大城市城镇调查失业率为5.1%，比上月下降0.1个百分点，全国企业就业人员周平均工作时间为48.4小时 [1] 房地产市场 - 10月一线城市新建商品住宅销售价格同比下降0.8%，降幅比上月扩大0.1个百分点，二线城市同比下降2.0%，降幅收窄0.1个百分点，三线城市同比下降3.4% [1] - 10月一线城市二手住宅销售价格同比下降4.4%，降幅扩大1.2个百分点，二线城市同比下降5.2%，降幅扩大0.2个百分点，三线城市同比下降5.7% [1] - 国家统计局表示房地产市场处于新旧模式转换时期，转型调整需要一定时间 [1] 矿产资源勘探 - 辽宁省探明国内首个千吨级低品位超大型金矿床大东沟金矿，金金属量1444.49吨 [7] - 该矿探明金矿石量25.86亿吨，平均品位0.56克/吨，矿体最大走向长度3128米，最大斜深1250米，平均厚度263.35米 [7] - 该金矿边界品位为0.25克/吨，为新中国成立以来发现的规模最大单体金矿床，已通过开发利用经济性论证 [7] 网络生态治理 - 网信部门处置利用AI技术仿冒公众人物账号1.1万余个，清理相关违规信息8700余条 [3] - 网信部门督促网站平台开展集中清理整治，对利用AI仿冒公众人物开展直播营销问题保持高压严管态势 [3] - 市场监管总局今年前三季度查办商标等知识产权违法案件2.7万件，涉案金额4.68亿元，向司法机关移送涉嫌犯罪案件742件 [9] 医疗保障监管 - 国家医保局公布4起药店骗取医保基金典型案例，其中北京同仁堂三亚两分店涉案金额达330万余元 [8] - 医保部门已暂停或终止涉案定点医药机构相关人员医保支付资格，案例涉及伪造处方、串换药品等手段 [8] 生态保护与公共安全 - 公安部开展“平安原野—2025”专项行动，全链条打击危害鸟类等野生动物犯罪活动 [4] - 国家林草局调整保护名录后，国家重点保护鸟类达394种，“三有”鸟类达1028种，受保护鸟类种数扩大近50% [6] - 林草局明确了1140处候鸟迁徙通道重要栖息地，筛选出821处关键栖息地，2024年、2025年监测鸟类数量连创历史新高 [6] 区域发展与基础设施 - “十四五”期间三峡后续工作规划安排资金469.10亿元，实施项目1235个，累计新增就业岗位44万个 [10] - 2024年三峡库区农村移民人均可支配收入2.2万元，是2010年的4.19倍，年均增长率10.5%，城镇移民人均可支配收入4.6万元，是2010年的2.3倍 [10] - “十四五”期间实施地质灾害治理224处，完成移民安置区除险加固1617处，避险搬迁0.59万人，为4.6万人解除地质灾害威胁 [10] 市场监管与知识产权 - 市场监管总局起草规定，要求电商平台对初步证明存在商标侵权的网店采取保护措施，并对地址信息不实的网店进行显著标记 [9] - 执法中发现“幽灵网店”问题突出，部分侵权网店登记地址不实、经营者无法联系成为查处难点 [9]

AI仿冒侵权现象与案例 - AI仿冒名人形象进行直播带货等商业活动的情况日益猖獗，例如演员温峥嵘形象被AI换脸用于直播间，本人质问后反被拉黑 [2] - 有案例利用AI模仿奥运冠军全红婵的声音带货销售土鸡蛋 [2] - 抖音电商在10月启动专项治理行动后，处置涉及侵权仿冒违规的达人账号多达1.1万个，其中包括AI仿冒侵权 [5] 平台应对与技术挑战 - 抖音集团副总裁李亮表示AI内容侵权识别是行业性技术难题，恶意仿冒账号不断进行技术对抗，平台将持续加大投入应对挑战 [2][7] - 检测AI换脸的技术原理在于，被篡改区域在频率变换等分析下会呈现异常的数值尖刺，与真实图像特征存在明显差异 [2][7] - 对于抖音直播这类大规模应用，理论上可通过配置顶级硬件检测或最先进防护模型来有效防范，但实现无死角安全覆盖的成本是天文数字 [3][8] - 平台需要在安全投入与风险控制之间进行权衡，庞大的用户体量使得高成本防护方案难以落地 [3][8] 法律定性与管理难点 - 盗用公众人物形象进行AI换脸直播主要侵犯肖像权甚至名誉权，不存在法律模糊地带 [9] - 内容制作者与商家是直接侵权方，若虚构事实骗取财物可能构成诈骗罪，平台在收到通知或侵权事实成为公众话题时有义务采取必要措施，否则可能承担连带责任 [9] - 治理难点在于查处的及时性，平台需要投入以进行及时识别，事后需对可追溯侵权主体施以经济罚款和账号封禁等惩罚以提高违法成本 [10] - 《人工智能生成合成内容标识办法》要求AI生成内容需添加标识，平台有义务监管 [10] 数字人带来的新挑战 - 比仿冒形象更严峻的挑战是完全虚拟的数字人，其可能凭空捏造科学家或医生等不存在的身份直接构成公众欺骗 [11] - 强制性的AI生成内容标识成为最重要底线，必须明确告知公众这不是真人 [11] - 数字人可24小时直播且成本更低，但无法对内容真实性负责，面对监管盲区，核心原则是非真实内容必须进行显著标识 [11] AI技术原理与可及性 - AI换脸技术原理是将人脸映射到特征空间的向量并进行替换，例如将向量a替换为向量b再映射回视频即生成换脸视频 [7] - 随着技术发展，利用开源模型加小型GPU即可实现AI换脸，技术门槛显著降低 [7]

案件核心事实 - 犯罪团伙利用AI换脸技术突破电商平台人脸认证系统盗取用户账号 [1] - 该技术仅需用户一张静态照片即可生成动态视频效果以通过平台活体检测 [1] - 团伙业务涉及查询账号信息（最低500元）和店铺过户（最高5000元佣金） [14] - 累计涉及150余起盗号事件其中成功过户10余个账号团伙获利10余万元 [14] 犯罪手法与产业链 - 线上合谋形成完整产业链：王某提供闲置店铺隐私信息吴某承接订单张某负责技术兜底 [12] - 技术兜底者通过境外平台发布“AI换脸突破认证”广告并附带演示视频 [3][10] - 异常登录行为均指向贵州某地通过平台记录锁定150个异常账号地址 [10] 平台安全漏洞与影响 - 人脸信息具有唯一性和不可复制性被突破后安全性威胁远超密码或手机验证 [1] - 案例显示平台仅依据“扫脸”授权即完成手机换绑和店铺所有权转移 [9] - 受害者包括账号长期闲置用户（刘先生）和刚购买店铺的活跃用户（张女士花费1.7万余元） [5][7] 司法处置结果 - 2025年1月23日法院判决主犯张某有期徒刑三年两个月并处罚金三万元 [14] - 从犯吴某王某因非法获取计算机信息系统数据罪分别被判处有期徒刑三年缓刑四年 [14]

文章核心观点 - AI大模型安全风险日益突出，攻击门槛降低且风险呈指数级增长，行业正面临传统安全方案难以应对的复杂威胁矩阵[3][4] - 公司发布《大模型安全白皮书》，系统性归纳五类关键风险并提出双轨治理策略，以应对当前安全挑战[3][4] - 尽管AI智能体发展初期面临争议，但其作为大模型应用重要载体的前景被看好，预计将迎来巨大跃升[5] AI安全风险现状 - 国内首次AI大模型实网众测累计发现安全漏洞281个，其中大模型特有漏洞177个，占比超过60%[3] - AI生成内容过于逼真，以现有技术进行识别和鉴定仍存在难点[1] - 攻击手段已从技术层面单一威胁演变为系统性风险，智能体出现后攻击门槛越来越低[3] 大模型安全关键风险分类 - 基础设施安全风险：涉及设备控制、供应链漏洞、拒绝服务攻击及算力资源滥用等问题[4] - 内容安全风险：涉及不符合核心价值观内容、虚假或违规内容、大模型幻觉及提示注入攻击等[4] - 数据与知识库安全风险：数据泄露、越权访问、隐私滥用和知识产权问题日益突出[4] - 智能体安全风险：插件调用、算力调度、数据流转等环节安全边界模糊[4] - 用户端安全风险：包括权限控制、API调用监控、恶意脚本执行及MCP执行安全等[4] 行业安全需求与应对策略 - 党政单位、机关单位等针对AI换脸等安全问题存在大量相关安全需求[1] - 外挂式安全策略侧重模型外部防护，通过以模治模实现对算力主机、软件生态等的主动监测与防御[4] - 平台原生安全策略聚焦将安全能力嵌入大模型数据、知识库等核心组件，强化全流程合规管控[4] AI智能体发展前景 - 智能体作为大模型应用与落地的重要承接载体，在发展初期饱受争议属正常现象[5] - 智能体补足大模型没有手和脚的缺陷，能独立调用技术、感知环境、分析判断和规划执行[5] - 大模型从聊天机器人发展为可影响各种业务的技术工具仅用两三年，智能体虽未达高效但将迎跃升[5]