论坛与报告发布 - 9月12日外滩大会见解论坛发布《AI新治向：生成式人工智能内容与传播风险治理观察》报告 [2][6] - 论坛主题为“规范AI内容 共筑清朗生态”由南方都市报社、南都大数据研究院等多家机构联合主办 [6] - 报告基于对百起风险事件的调查、数千份问卷调研及多轮社会实验 [8][14] AI内容风险现状 - 问卷调查显示76.5%的受访者曾多次遭遇AI假新闻 [8][14][20] - 分析去年国内50起高热AI风险事件发现20%涉及AI谣言 [16] - 生成式AI伴生风险包括虚假信息、深度合成诈骗、隐私泄露、版权侵害、商业学术失信及未成年人权益侵害 [15] AI虚假内容传播机制 - 街头实验显示10名受访者中有8人在观看AI假新闻后表示将转发 [20] - 用户转发虚假新闻主因是“内容引起共鸣”和“信任信息来源”两项占比均超六成 [20] - 超七成受访者凭“内容逻辑”和“画面真实感”评估真实性不到一半会核查来源 [20] 风险成因分析 - 风险成因包括技术局限性、训练数据质量差、恶意滥用、数据管理漏洞、监管伦理不完善及公众认知不足 [19] - 深度合成技术滥用催生新型诈骗如克隆名人音视频实施诈骗 [16] - 大模型视觉推理能力可通过普通街景照片精准定位拍摄地点造成隐私泄露风险 [17] 治理建议与措施 - 治理建议包括推行强制标识制度、强化数据合规、提升模型可靠性、对高敏感场景分级管理及加强未成年人保护 [23] - 需构建政府、企业、公众、学术界多方协同共治的治理体系 [24] - 自2025年9月起《人工智能生成合成内容标识办法》及配套强制性国家标准正式生效 [10][22] 企业技术实践 - 蚂蚁数科推出多项AI安全防御技术解决方案包括智能测评技术、“光鉴智能验真”产品及大模型安全解决方案“蚁天鉴” [11] - 复旦大学白泽智能团队开发JADE大模型安全风险分析治理平台实现多维度风险覆盖 [9]

文章核心观点 - 蚂蚁数科AI科技产品总监鲁玮在2025外滩大会见解论坛上系统阐述了公司应对生成式AI三大真实性挑战（身份伪造、凭证造假、大模型幻觉）的技术实践与治理思考 [1][3] - 公司强调防患于未然的安全理念 并展示了针对关键业务场景的系列解决方案 包括数字身份验证、智能票据验真和大模型内容安全防御 [3] - 随着AI能力跃升 行业将面临更复杂的安全议题 需要产业、学界与媒体协同共建规范透明可信的AI治理体系 [4] AI带来的真实性挑战 - AI对物理世界和数字世界带来三大挑战：身份伪造、凭证伪造和大模型幻觉 [3] - 黑产借助AI技术通过深度伪造人脸、合成虚假票据和证件等方式进行诈骗、虚假开户和贷款申请 给个人与社会带来巨大风险 [3] - 现场展示的AI伪造图像案例中 9张数字人脸照片有2张是AI生成 但观众难以通过肉眼分辨 [3] 应对身份伪造的技术实践 - 公司依托蚂蚁天玑实验室这一国际前沿的生物识别安全实验室 在开户、支付、信贷等关键场景中确保个人数字身份的可验证与可信赖 [3] - 核心目标是保证数字世界中的身份真实和可信 [3] 应对凭证造假的技术实践 - 针对黑产借助AI的凭证造假低成本、规模化趋势 公司推出"光鉴智能验真"解决方案 [3] - 该方案通过防伪、质检、识别 结合大小模型进行多重信息抽检 核心逻辑是保证物理世界中的票据、身份、凭证防伪 [3] 应对大模型幻觉的技术实践 - AI生成内容幻觉的危害在于滥用人类信任 若出现在问诊、商业决策或司法裁判等场景将造成严重后果 [3] - 公司推出"蚁天鉴"大模型内容安全防御服务 针对提问与回答的交互模式构建多层防御护栏 进行风险预防、内容过滤和动态策略调优 [3] 未来AI安全趋势与行业呼吁 - 随着具身智能、AI for Science与智能体加速落地 AI能力跃升将伴随更复杂的安全议题 包括人机互动责任边界、价值对齐与伦理问题 [4] - 呼吁产业、学界与媒体加强协同 共建规范、透明、可信的AI治理体系 [4]