深度伪造技术

搜索文档
开创多元协同治理格局 促进人工智能安全有序发展
科技日报· 2025-08-29 14:37
人工智能战略定位 - AI从辅助工具跃升为驱动社会变革的核心引擎 国务院出台《人工智能+》行动意见推动技术与应用双向赋能 [1] - AI成为高质量发展的关键增量 核心价值体现在赋能 减负 提质 增效四个维度 [3] - 意见紧扣全球科技趋势 以战略性布局引领方向 科学性设计推动融合 指导性举措明确路径 及时性部署抢抓机遇 [4] 产业赋能应用 - AI拓展科学研究认知边界 如AlphaFold破解蛋白质折叠难题 支持科研范式转型加速创新成果转化 [3] - 智能制造领域车企通过AI维护系统将设备故障率降低20% 教育领域AI定制学习路径 医疗领域成为智能助手 [3] - AI通过自动化技术将人们从危险繁重工作中解放 创造智能化就业机会和工作方式 关注民生提振消费 [3] - 社会治理领域提升应急效率 生态治理领域实现实时监测模拟推演 推进治理能力精准提升 [4] 技术风险挑战 - 大模型存在黑箱特征 不可解释性导致决策逻辑难理解 鲁棒性不足易受对抗攻击 幻觉问题生成虚假内容 [6] - AI价值观是数据投射 训练数据偏见被模型放大 可能无意识传播与主流价值观相悖内容 影响社会和谐 [6] - 深度伪造技术生成以假乱真音视频 海量数据依赖导致隐私泄露风险 AI驱动网络攻击威胁个人安全与社会稳定 [6] 安全治理体系 - 构建四位一体协同治理体系 完善法律法规体系 构建多元公共安全体系 建设网络空间治理体系 建立智能应急体系 [8] - 技术安全方面开发可解释AI使决策透明化 通过对抗训练提升模型抗攻击能力 研发内容真实性检测算法 [9] - 伦理安全方面通过强化学习将中华传统文化与社会主义核心价值观嵌入模型 优化内容审核与行为约束技术 [9] - 应用安全方面制定数据保密网络安全供应链安全管理办法 引导安全行业数智转型 提升公众风险意识 [9] - 国家安全层面加快建设全维度安全测评体系 参与全球治理规则和技术标准制定 推动智能向上向善理念 [9]
5分钟可编出“校园霸凌” AI视频误导防汛救灾
齐鲁晚报· 2025-08-07 09:26
正值防汛关键期,福州永泰网民王某某为吸引眼球,通过AI工具剪辑视频散布谣言,误导防汛救灾工 作。未婚未育者谎称"女儿'王喵喵'被抱走",博取大众眼球。无中生有的文字、移花接木的视频、捏造 的图片……近年来,利用AI造谣的乱象愈发猖獗。 8月5日,南都N视频记者实测发现,网上不乏可免费使用的"AI写作神器""视频生成器"。只要输入简单 指令,涉及汛情、火灾等敏感主题的虚假文案瞬间生成,甚至普通景区照片经AI处理,即可变成"桥梁 断裂事故"视频。 应对挑战需要技术、教育等多轨并进。带领团队研发视觉深度伪造检测、溯源与防御系统的暨南大学夏 志华教授表示,唯有技术对抗、法规约束、平台治理与公众教育多管齐下,才能在算法洪流中守护真实 底线。 实验 高中生5分钟生成虚假通报 当一则附着"权威通报"的"上海某中学霸凌"消息在班级群里弹出,有多少人能一眼识破这是AI编造的谣 言?编造这则谣言需要多长时间? 近日,上海海事大学附属北蔡高级中学学生开展了一次特别实验,实验中,学生们利用AI仅耗时5分47 秒生成一则"霸凌"通报,其中时间地点、涉事学生姓名、伤情描述乃至法律条款应有尽有。 IC供图 而在实验之外的现实社会中,类似的 ...
AI造谣攻防战:高中生5分钟生成虚假通报实验的警示与应对
南方都市报· 2025-08-06 12:40
AI造谣现象与案例 - 福州永泰网民王某某通过AI工具剪辑视频散布汛情谣言,扰乱社会秩序并误导防汛工作,已被行政处罚[2][5] - 浙江嘉兴一男子使用AI生成虚假"寻人启事"称女儿被抱走,经核查其未婚未育,已被行政拘留[6] - 云南赵某某利用AI制作交通事故伤亡视频并标注"大理州"造成恐慌,经核实为虚假警情,已被行政处罚[6] - 山东枣庄某传媒公司购买10万个实名账号,利用AI批量生产300余万条谣言视频图文,87名犯罪嫌疑人被抓获[8] AI造谣技术特点 - 免费AI工具可快速生成汛情、火灾等敏感主题虚假文案,5分47秒即可伪造包含法律条款的"警情通报"[5][10] - 普通景区照片经AI处理可变成"桥梁断裂事故"视频,文字生成视频工具能拼接新闻画面制造虚假汛情场景[10][12] - AI生成虚假内容技术门槛极低,开源模型爆发式增长和云端服务便捷化加剧了技术大众化趋势[8][12] 行业应对措施 - 暨南大学夏志华团队研发视觉深度伪造检测系统,通过挖掘跨模型共性异常特征提升泛化能力,现有算法对已知伪造识别准确率超95%[12][13][14] - 2025年3月出台《人工智能生成合成内容标识办法》要求合法模型必须对生成内容添加水印[13] - 构建"个人-平台-技术-监管"四维共治体系,包括平台部署AI检测系统、技术社区研发鉴伪模型、监管部门完善立法等[13] 教育领域行动 - 上海高中生实验显示45.7%青少年无法识别AI谣言,55.9%未成年人通过短视频获取新闻[15] - 长三角形成媒介素养联盟种子校,通过新闻争霸赛、融媒体中心建设等提升学生媒介素养[18] - 2025年将启动跨省媒介素养联动计划,覆盖AIGC伦理、社会热点调查等领域,探索全国性教育体系[18][19]
特朗普撤回数字身份安全指令,加剧网络恐慌
快讯· 2025-06-11 01:52
网络安全政策调整 - 美国总统特朗普6月6日的网络安全行政命令取消了加强数字身份验证的措施 [1] - 该命令未提供任何替代的机构指导 [1] - 企业面临失去与联邦政府在打击网络犯罪方面的长期合作关系的风险 [1] 监管机构职能削弱 - 网络安全基础设施安全局(CISA)等机构对软件提供商网络合规性的监督被削弱 [1] - 该命令旨在削减"未经证实且繁琐"的要求 [1] 安全威胁加剧 - 在人工智能(AI)深度伪造时代,与身份相关的安全威胁愈演愈烈 [1] - 深度伪造技术已被用来针对企业,诱使员工分享机密信息或转移巨额资金 [1]
香港证监会在国际证监会组织年会上与区内监管机构就打击网上骗局的监管合作达成共识
智通财经网· 2025-05-15 16:44
国际证监会组织年会成果 - 香港证监会成功推动亚太区证券监管机构就加强合作打击网上投资骗局达成共识 [1] - 会议探讨了深度伪造技术进行的网上投资骗局及金融网红兴起等新兴风险 [1] - 香港证监会行政总裁梁凤仪重申亚太区协力打击网上骗局的坚定承诺 [1] 跨境监管合作进展 - 香港证监会与阿布扎比国际金融中心金融服务监管局、爱尔兰中央银行及加拿大安大略省证券事务监察委员会签订谅解备忘录 [2] - 香港证监会代表与中东、亚太、欧洲、北美及非洲地区监管同业举行双边会议 [2] 私募市场监管动态 - 国际证监会组织投资管理委员会主席蔡凤仪指出零售投资者涉足私募市场带来的风险及监管关注 [1] - 会议讨论了国际证监会组织对私募融资领域的应对工作 [1] 区域协作与政策协调 - 梁凤仪强调资本市场监管机构在贸易及地缘政治不明朗环境下需加强情报共享及跨境犯罪打击 [1] - 亚太区委员会向国际证监会组织汇报了加强合作的主要措施 [1]