一次偶然的机会，胡先生发现母亲因轻信AI换脸虚假宣传购买无效保健品，花费万元后，才识破了视 频画面中颈部扭曲、声画不同步等漏洞。如今，上传一张照片、一段音频，即可生成动态视频，"AI换 脸、拟声"也成为侵权违法的风险高发区。今年全国两会期间，多名全国人大代表、全国政协委员都曾 呼吁立法整治AI"换脸拟声"。 截至今年5月，多家手机厂商相继发布了AI换脸、拟声检测功能，称可以"5秒鉴伪""准确率高达 96%"等。那么，这些功能对AI生成内容的识别效果如何？5月6日，南都记者实测了荣耀、小米、OPPO 三款自带AI检测功能的手机，结果显示，均未成功识别。国家互联网应急中心相关技术专家建议，对 于AI反诈检测能力宣传应以安全辅助为主，充分提醒用户合理认识该功能，不因该功能而放松警惕。 "AI换脸"诈骗两年致损超2亿 手机终端企业推提醒功能 公安部数据显示，2022年到2024年初，我国共发生"AI换脸"类诈骗案近百起，累计给人民群众造成经济 损失高达2亿元。去年8月，工信部反诈专家表示，会同行业内的手机终端企业推出AI换脸诈骗风险提 醒功能。 南都记者梳理发现，去年10月以来，多家手机厂商相继发布了AI换脸检测功能 ...

AI换脸诈骗现状与危害 - 2022年至2024年初全国发生近百起AI换脸类诈骗案 造成经济损失高达2亿元[3] - 诈骗分子利用AI深度合成技术伪造人脸和声音 通过侵入视频通话应用实施诈骗[4] - 典型案例显示消费者因轻信AI换脸虚假宣传购买无效保健品 损失万元[1] 手机厂商AI反诈技术布局 - 荣耀在MagicOS 9 0系统嵌入AI检测模块 覆盖微信 QQ视频通话场景[3] - 小米HyperOS2 0搭载AI反诈功能 可对换脸和伪造声音发出警报[3] - OPPO ColorOS系统上线"AI合成语音识别"技术 针对模拟熟人声音诈骗[3] - 联想计划推出Deepfake检测器 声称5秒内识别准确率超96% 适配多终端设备[3] AI检测技术原理与局限 - 检测技术通过构建AI模型 训练大量样本识别VAE GAN算法生成的人脸伪造[4] - 核心检测点在于分析被诈骗用户端的视频流 但实测显示当前技术存在明显漏洞[4][5] - 厂商披露技术主要攻克实时视频通话场景的人脸仿冒 但未覆盖所有诈骗手法[4] 主流手机AI检测功能实测结果 - 南都记者测试荣耀 小米 OPPO三款机型 均未成功识别预设的AI合成视频或音频[5] - 荣耀检测流程触发弹窗但结果显示"未检测到AI换脸痕迹"[7] - 小米 OPPO仅提示开启防护 全程无风险警报[7] - 厂商客服回应称检测能力尚在优化 无具体识别标准[7] 行业专家建议与争议 - 技术专家指出手机厂商反诈职能边界模糊 涉及隐私采集与安全责任问题[7] - 建议AI反诈宣传应明确辅助定位 避免用户因依赖功能而放松警惕[8] - 强调内容传播平台需承担更多AI鉴伪义务 形成多环节联防机制[8]