据国家安全部微信公众号12月26日消息，当前，AI大模型加速赋能千行百业，推动人们生活日新月 异，这位能干又贴心的"数字伙伴"正加速融入我们日常生活。然而每一次技术跃迁必然伴随着新的挑 战，当AI的触角延伸越广、嵌入越深，随之而来也暴露出数据隐私、算法偏见等潜在风险，亟需我们 构筑安全防线，助推这场深刻的智能变革，安全赋能美好未来。 高速发展背后的"暗礁" 守则一：划定"活动范围"。做到"权限最小化"，联网AI不处理涉密数据、语音AI不收集环境语音、智能 助手不保存支付密码，关闭"数据共享""云空间"等不必要的访问权限。 守则二：检查"数字足迹"。养成定期清理AI聊天记录、修改AI工具密码、更新防病毒软件、查看账号登 录设备等习惯。同时避免随意下载使用来源不明的大模型程序，对提供身份证、银行账户或其他敏感信 息的要求保持警惕。 守则三：优化"人机协作"。向AI提问时，在提示词中明确禁止AI过度推演，并要求AI显示来源或思考 过程，对重要信息进行跨平台验证，合理辨别AI生成结果，特别是涉及政治、历史、意识形态等话题 时，要具备独立思考意识，辩证看待AI的回答，避免陷入"AI幻觉"。 国家安全机关提示 安全是发展 ...

高速发展背后的"暗礁" ——数据隐私与安全边界模糊。个别单位因直接使用开源框架建立联网大模型，导致攻击者未经授权即 可自由访问内部网络，从而引发数据泄露和安全风险。据公开案例显示，某单位工作人员在处理内部文 件时，违规使用开源AI工具，由于电脑系统默认开启公网访问且未设密码，导致敏感资料被境外IP非法 访问和下载。 ——技术滥用与虚假信息产生。利用AI的深度学习算法进行自动化的数据处理，实现图片、音频及视 频的智能模拟和伪造，这种技术被称为深度伪造（Deepfake）。一旦该技术被滥用或恶意使用，将给个 人合法权益、社会稳定甚至国家安全带来诸多风险和挑战。国家安全机关工作发现，某境外反华敌对势 力通过深度伪造技术生成虚假视频，并企图向境内传播，以误导舆论、制造恐慌，对我国家安全构成威 胁。 本文转自【国家安全部微信公众号】； 一份给您的"智能生活安全说明书" 初中教师小李自从使用AI备课后，能在五分钟内生成一份生动有趣的教案，包括图片、视频和互动问 答。"以前备课要两小时，现在可以省下更多时间关注学生个人情况，还能一对一定制专属练习题。" 某独居老人陈爷爷，通过子女赠送的智能音箱，找到了新乐趣。"小智不仅能陪 ...

转自：北京日报客户端 初中教师小李自从使用AI备课后，能在五分钟内生成一份生动有趣的教案，包括图片、视频和互动问 答。"以前备课要两小时，现在可以省下更多时间关注学生个人情况，还能一对一定制专属练习题。" 某独居老人陈爷爷，通过子女赠送的智能音箱，找到了新乐趣。"小智不仅能陪我听戏、聊天，还会在 我忘记吃药时主动提醒，它居然还记住了我所有孙辈的生日。" 29岁的小王原本是文案策划，因擅长与AI"对话"，现已成功转型为提示词工程师。"关键是要把指令说 得足够清晰。"从智能客服到AI绘图师，大模型正创造着一个个前所未见的新岗位。 当前，AI大模型加速赋能千行百业，推动人们生活日新月异，这位能干又贴心的"数字伙伴"正加速融入 我们日常生活。然而每一次技术跃迁必然伴随着新的挑战，当AI的触角延伸越广、嵌入越深，随之而 来也暴露出数据隐私、算法偏见等潜在风险，亟需我们构筑安全防线，助推这场深刻的智能变革，安全 赋能美好未来。 高速发展背后的"暗礁" ——数据隐私与安全边界模糊。个别单位因直接使用开源框架建立联网大模型，导致攻击者未经授权即 可自由访问内部网络，从而引发数据泄露和安全风险。据公开案例显示，某单位工作人员在 ...

央视网消息：据国家安全部公众号消息，初中教师小李自从使用AI备课后，能在五分钟内生成一份生动有趣的教案，包括图片、视频和互动问答。"以前备 课要两小时，现在可以省下更多时间关注学生个人情况，还能一对一定制专属练习题。" 某独居老人陈爷爷，通过子女赠送的智能音箱，找到了新乐趣。"小智不仅能陪我听戏、聊天，还会在我忘记吃药时主动提醒，它居然还记住了我所有孙辈 的生日。" ——算法偏见与决策"黑箱"。AI的判断源于其所学习的资料，若训练数据本身存在社会偏见或代表性不足等问题，大模型便可能放大歧视。测试显示，某 些AI会系统性偏向西方视角。当研究人员用中英文向某同一个AI提问历史问题时，发现英文回复会刻意回避、淡化某些史实，甚至会给出包含错误历史信 息的内容，引发重大歧误，而中文回复则相对客观。 安全守则：给"数字伙伴"的三条守则 ——守则一：划定"活动范围"。做到"权限最小化"，联网AI不处理涉密数据、语音AI不收集环境语音、智能助手不保存支付密码，关闭"数据共享""云空 间"等不必要的访问权限。 ——守则二：检查"数字足迹"。养成定期清理AI聊天记录、修改AI工具密码、更新防病毒软件、查看账号登录设备等习惯。同时 ...

文章核心观点 - 报告系统梳理了“十四五”期间中国内容科技领域从“工具赋能”迈向“生态重构”的突破性成果，展现了智能化、垂直化、体系化的发展态势 [1] - 内容科技正深刻重塑传媒生态与数字社会面貌，十大进展集中体现了该领域的创新活力与治理智慧 [1] - 一系列进展标志着中国内容科技发展已进入技术创新与监管规范同步深化、应用落地与生态构建协同推进的新阶段 [11] 国产通用大模型与媒体融合 - 2023年以来，以“文心一言”、“通义千问”为代表的国产大模型集中上线，DeepSeek等开源模型因高性能、低成本备受关注 [2] - 大模型向媒体垂直领域深度渗透，催生了人民网“写易”、人民智媒大模型、新华社MediaGPT、“央视听大模型”等行业专用模型 [2] - 大模型成为推动内容生产、交互与服务智能化升级的新型基础设施，显著拓展了媒体融合的深度与广度 [2] AIGC驱动内容生产变革 - 自2023年起，剪映AI生成、腾讯智影等视频生成工具陆续推出，2024年Sora等技术进步进一步激发国内视频生成创新 [3] - 虚拟数字人如央视网小C、AI手语主播在重大报道中广泛应用，人民日报“AIGC编辑部”等实践不断涌现 [3] - 推动内容生产向自动化、个性化演进，实现影视特效、3D建模等工作的智能化、自动化与规模化，大幅提升创作效率、质量与表现形式 [3] 国家级科研与数据基础建设 - 2019年起，科技部批准设立“传播内容认知国家重点实验室”等多个国家级科研平台，聚焦内容认知、媒体融合、超高清制播等前沿方向 [4] - 为行业关键技术创新与共性解决方案研发提供坚实支撑，有力促进了产学研协同与自主创新体系建设 [4] - 积极推进如人民网“主流价值语料库”、“语料社区”等国家级语料库建设，以应对大模型对高质量训练数据的需求 [5] - 这些语料库显著提升了大模型的中文理解能力、安全性与价值观对齐水平，为国产大模型健康可持续发展提供了高质量、权威可信的数据基础 [5] 内容审核与安全治理 - 2019年至2022年，多模态内容识别系统逐步建立 [6] - 2023年后，面对AIGC内容爆发，融合大模型语义理解、多模态融合分析与人工复核的“AI审核AI”新范式加速落地，形成全流程审核闭环 [6] - “白泽”、“人民审校”等平台相继推出，实现了对海量文本、图像、音视频内容的精准识别与实时安全检测 [6] - 针对深度伪造等安全风险，2020年至2023年间，公安部、国家网信办积极推动“AI打假”技术研发，百度等企业推出检测平台，人民网上线“天目”识别系统 [9] - 2024年，AI诈骗鉴别技术被纳入网络安全重点工程，“以AI治理AI”的新范式助力提升对深度伪造内容的识别与溯源能力 [9] 智能修复与虚实共生应用 - 2020年以来，基于GAN和扩散模型的影像修复技术日趋成熟，可实现老照片、老影像的清晰化、色彩还原与破损修复 [7] - 2023年后，技术进一步向三维重建与动态复原升级，应用于古建筑数字孪生、虚拟展示及非遗传播 [7] - XR、元宇宙、数字孪生等技术自2021年起在传媒、文旅、教育、城市治理等领域加速融合 [8] - 央视春晚XR舞台、体育赛事VR直播、博物馆AR导览、虚拟演播厅、元宇宙社区等应用层出不穷，人民网“梦幻灵境”AI展演中心落地多地 [8] - 开创了沉浸式传播新场景，推动内容消费从“被动观看”转向“主动参与” [8] 数字藏品与IP价值转化 - 2022年前后，数字藏品逐步成为热点，主流媒体陆续推出“灵境人民艺术馆”、“新华数藏”等平台，探索发行新闻数字藏品 [10] - 2023至2024年，数字藏品进一步与XR、元宇宙场景深度结合，探索虚拟资产跨平台流通与沉浸式展示 [10] - 为内容IP价值转化、用户互动模式创新及文化传播提供了新载体与新思路 [10] 技术规范与监管体系 - 2021年以来，《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等系列规章相继出台 [11] - 确立了“包容审慎、分类分级”的监管原则，并建立起全平台内容追溯、算法备案、数据安全管理等机制 [11] - 通过持续开展“清朗”等专项行动，在鼓励技术创新的同时有效规范其应用，推动构建政府、企业、技术、公众共同参与的治理格局 [11]

案件基本情况 - 日本警方今年前9个月处理涉及18岁以下未成年人的深度伪造色情案件共79起 [1] - 案件受害者中初中生占比约52% 高中生占比约32% 小学生占比约5% [1] - 约80%的案件受害者是初中生或高中生 [1] - 约53%的案件由受害者的同学制作或传播深度伪造图像 [1] - 约6%的案件作案人是受害者通过社交媒体结识的人 另有6%由学校教职员工或其他学校学生实施 [1] - 约半数案件的作案人与受害者在同一所学校就读 [1] 作案手法与来源 - 用于生成深度伪造色情内容的照片通常取自毕业纪念册 [1] - 约18%的案件涉及使用生成式AI制作照片 [2] - 虽然约80%的案件无法明确识别生成图像的手法 但据信其中许多使用了人工智能技术 [2] 案件处理与趋势 - 这是日本警察厅首次就此类案件发布详细数据 [1] - 在79起案件中 警方对4起以涉嫌诽谤罪等为由展开刑事调查 另有6起对实施者给予行为矫正指导 [1] - 在日本 未经同意制作并传播色情图像构成侵权 涉案者还可能面临诉讼 [1] - 去年日本警方共处理了110起相关案件 [2] - 随着人工智能技术日益普及 公众对深度伪造传播色情内容行为的担忧日益加剧 [2] 技术定义与影响群体 - 深度伪造指用人工智能技术制作看起来真实度很高的视频 图片或音频片段 可将色情影像中的人物改变成另外一人的样貌 [1] - 这类犯罪事件大多针对女性和未成年人 [1]

文章核心观点 - 以AI工具大规模生成的劣质、重复或无意义内容（被称为“AI垃圾”或“Slop”）正在互联网上泛滥，其背后推手是技术的滥用与对经济利益的追逐，这种现象正在侵蚀信息质量、模糊真实与虚构的界限，并引发信任危机，应对措施包括技术标注、行业标准及用户自身的辨别与支持[1][2][4][5][6][7][8] “AI垃圾”的定义与特征 - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频，常见于社交媒体和自动化内容农场[2] - 其与旨在欺骗的“深度伪造”或属于技术错误的“AI幻觉”不同，“AI垃圾”的错误更多源于敷衍而非欺骗或技术局限，范围更广且更随意[3] - 这类内容正遍布各平台，例如OpenAI的Sora可几秒内生成荒诞视频，LinkedIn上充斥AI包装的“专家箴言”，谷歌搜索结果会出现“姜黄能治愈心碎”等无稽之谈[2] “AI垃圾”泛滥的成因 - 技术层面：AI技术日益强大且成本低廉，ChatGPT、Gemini、Claude、Sora、Veo等工具使几秒内生成文本、图像与视频成为可能，为内容农场的海量生产提供了便利[4] - 经济驱动：滥用AI工具海量生成内容旨在博取点击和广告收入，例如有YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量[4] - 平台算法：平台算法往往更看重内容的点击与互动数据而非质量，发布越频繁获得关注越多，无形中助推了“AI垃圾”的传播[4] “AI垃圾”的影响与后果 - 数量爆发时，垃圾信息充斥网络会导致可信来源在搜索结果中排名下降，真实与虚构的界限变得模糊[5] - 信任危机会带来切实后果，当无人能辨真假时，错误信息传播得更快[6] 行业应对措施与挑战 - 部分公司已开始尝试为AI生成内容添加标签并调整算法，例如Spotify降低劣质内容推荐权重，谷歌、抖音与OpenAI等公司承诺推出水印系统[7] - 行业正推动C2PA（内容来源与真实性联盟）标准，由Adobe、亚马逊、微软、Meta等企业共同支持，通过元数据嵌入记录数字文件的创建与编辑过程以追溯来源[7] - 应对措施面临挑战，水印和元数据可能被剥离、忽略或转码失效，且多数平台尚未形成一致的执行规范[7] - 最有效的防护在于人类自身，包括放慢节奏、核实来源以及支持坚持用心创作的作者[7][8]

文章核心观点 - 当前互联网，尤其是社交媒体平台，正泛滥着大量由AI工具生成的劣质、重复或无意义的内容，即“AI垃圾”（AI Slop），这类内容正在侵蚀信息质量和用户信任 [1] “AI垃圾”的定义与表现 - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频，常见于社交媒体和自动化内容农场 [2] - 具体表现包括：利用OpenAI的Sora几秒内生成荒诞视频、LinkedIn上充斥AI包装的“专家箴言”、谷歌搜索结果中出现如“姜黄能治愈心碎”等无稽之谈 [2] “AI垃圾”与其他AI生成内容的区别 - “AI垃圾”与“深度伪造”或“AI幻觉”不同，其区别在于意图与质量 [3] - “深度伪造”目的在于欺骗，以假乱真；“AI幻觉”属技术错误，是模型预测偏差；而“AI垃圾”错误源于敷衍，范围更广、更随意，源于人们用AI批量生产内容却疏于核对 [3] “AI垃圾”泛滥的驱动因素 - 技术层面：AI技术日益强大且成本低廉，ChatGPT、Gemini、Claude、Sora、Veo等工具使几秒内生成可读文本、图像与视频成为可能 [4] - 经济动机：滥用AI工具海量生成内容旨在博取点击和广告收入，例如某个YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量 [4] - 平台算法：平台算法往往更看重内容的点击与互动数据，而非质量，发布越频繁获得关注越多，AI让这类操作变得易如反掌 [4] “AI垃圾”的潜在影响 - 当数量爆发，垃圾信息充斥网络，会导致可信来源在搜索结果中排名下降，真实与虚构的界限变得模糊 [5] - 信任危机会带来切实后果，即错误信息传播更快 [5] 行业应对措施与挑战 - 部分平台如Spotify开始为AI生成内容添加标签，并调整算法以降低劣质内容的推荐权重 [6] - 谷歌、抖音与OpenAI等公司承诺推出水印系统，帮助用户区分人工内容与合成内容，但若内容被截图、转码或改写，这些方法可能失效 [6] - 行业标准C2PA（内容来源与真实性联盟）由Adobe、亚马逊、微软、Meta等企业共同支持，通过将元数据嵌入数字文件记录创建过程，但难点在于普及，元数据可能被剥离，且多数平台尚未形成一致的执行规范 [6] - 最有效的防护在于人类自身，即放慢节奏、核实来源、支持坚持用心创作的作者 [6]

行业现象：AI生成低质内容泛滥 - 当前互联网尤其是社交平台正泛滥一种被称为“AI垃圾”的内容 其特点是错漏百出、古怪、重复且缺乏质量 正在侵蚀人们的思想[1] - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频 常见于社交媒体和自动化内容农场[2] - 与旨在欺骗的“深度伪造”或属于技术错误的“AI幻觉”不同 “AI垃圾”范围更广更随意 其错误源于敷衍而非欺骗或技术局限[3] 技术滥用与商业模式推手 - AI技术日益强大且成本低廉 使得几秒内生成可读文本、图像与视频成为可能 为“AI垃圾”的批量生产提供了条件[4] - 内容农场应运而生 利用AI填充网站、社交动态和YouTube频道远比人工创作更快 例如某个YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量[4] - 平台算法往往更看重内容的点击与互动数据而非质量 发布越频繁获得关注就越多 这无形中助推了“AI垃圾”的传播[4] - 利益是幕后推手 部分创作者通过发布虚假名人消息或标题党视频来博取点击和广告收入[4] 对信息生态的潜在影响 - 当“AI垃圾”数量爆发 会挤占可信来源在搜索结果中的排名 使真实与虚构的界限变得模糊[5] - 信任危机会带来切实后果 当无人能辨真假时 错误信息会传播得更快[6] 行业应对措施与尝试 - 部分平台如Spotify开始为AI生成内容添加标签 并调整算法以降低劣质内容的推荐权重[8] - 谷歌、抖音与OpenAI等公司承诺推出水印系统 以帮助用户区分人工内容与合成内容[8] - 行业正在推动名为C2PA的内容来源与真实性联盟标准 该标准由Adobe、亚马逊、微软、Meta等企业共同支持 通过将元数据嵌入数字文件来记录其创建与编辑过程[8] - 最有效的防护在于人类自身 放慢节奏、核实来源、支持坚持用心创作的作者是重要的开始[8] 行业长期挑战与本质 - “AI垃圾”是互联网垃圾信息故事的新篇章 其特点是更快、更流畅、也更难察觉[9] - 网络能否保持其应有的品质 取决于人们是否依然珍视人类的真诚创作 而非机器的机械输出[9]

文章核心观点 - 山西省消费者协会发布警示，提醒消费者警惕利用“AI换脸”和“AI配音”等“深度伪造”技术实施的新型诈骗，此类诈骗在2025年人工智能技术深度普及的背景下迷惑性极强，对消费者财产安全与个人隐私构成严重威胁 [1] 新型诈骗手段与流程 - 诈骗分子首先在抖音、微信视频号、微博等社交平台广泛搜集消费者或其亲友公开发布的清晰面部视频和语音片段，用于AI模型训练 [1] - 随后利用“深度伪造”技术合成出足以以假乱真的视频或音频 [1] - 接着精心设计紧急情境，如声称遇到车祸、被拘留或业务急需付款等，利用受害者的慌乱心理降低其警惕性 [1] - 最后通过视频通话或发送伪造的语音、视频片段直接联系消费者，要求其向指定账户转账 [1] 典型诈骗场景 - 合成子女、父母或好友的影像，在视频通话中以“急需用钱”为由要求转账 [2] - 针对企业财务人员或员工，冒充公司领导通过视频会议下达紧急支付指令 [2] - 伪造执法人员视频，以涉嫌违法为由要求消费者将资金转移至所谓“安全账户”进行核查 [2] 消费者防范原则：“三不” - 不轻信：对于任何通过非见面方式提出的转账汇款要求，即便看到真人视频或听到熟悉声音，也应高度警惕，尤其要提防对方制造紧急氛围阻碍核实 [2] - 不转账：在未通过其他可靠途径百分之百确认对方身份前，坚决不进行任何转账操作 [2] - 不泄露：需注重个人信息保护，审慎在社交媒体分享清晰的正面视频、语音，避免敏感信息过度公开 [2] 消费者防范原则：“二要” - 要核实：若遇“亲友”通过视频借钱，务必挂断后使用自行存储的联系方式回拨核实，或通过共同亲友交叉确认；可与家人、挚友预先约定资金往来暗语 [3] - 要警惕：需保持观察，AI合成内容可能存在人物表情僵硬、眨眼不自然、口型对不上、声音有电子音或断句不合理等细微破绽；公检法等机关绝不会通过视频或电话要求转账至“安全账户”，凡要求保密、隔绝与他人的联系，均是诈骗典型特征 [3] 受骗后应对措施 - 一旦发觉被骗，应第一时间拨打110报警或前往就近派出所，并提供对方账号、联系方式、聊天记录、转账凭证等证据 [3] - 立即联系银行客服或通过手机APP尝试冻结对方账户，争取止付，以最大限度减少损失 [3]