AI幻觉
搜索文档
AI与人|“AI垃圾”泛滥,最后的防线在人类自身
科技日报· 2025-12-16 13:26
文章核心观点 - 以AI工具大规模生成的劣质、重复或无意义内容(被称为“AI垃圾”或“Slop”)正在互联网上泛滥,其背后推手是技术的滥用与对经济利益的追逐,这种现象正在侵蚀信息质量、模糊真实与虚构的界限,并引发信任危机,应对措施包括技术标注、行业标准及用户自身的辨别与支持[1][2][4][5][6][7][8] “AI垃圾”的定义与特征 - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频,常见于社交媒体和自动化内容农场[2] - 其与旨在欺骗的“深度伪造”或属于技术错误的“AI幻觉”不同,“AI垃圾”的错误更多源于敷衍而非欺骗或技术局限,范围更广且更随意[3] - 这类内容正遍布各平台,例如OpenAI的Sora可几秒内生成荒诞视频,LinkedIn上充斥AI包装的“专家箴言”,谷歌搜索结果会出现“姜黄能治愈心碎”等无稽之谈[2] “AI垃圾”泛滥的成因 - 技术层面:AI技术日益强大且成本低廉,ChatGPT、Gemini、Claude、Sora、Veo等工具使几秒内生成文本、图像与视频成为可能,为内容农场的海量生产提供了便利[4] - 经济驱动:滥用AI工具海量生成内容旨在博取点击和广告收入,例如有YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量[4] - 平台算法:平台算法往往更看重内容的点击与互动数据而非质量,发布越频繁获得关注越多,无形中助推了“AI垃圾”的传播[4] “AI垃圾”的影响与后果 - 数量爆发时,垃圾信息充斥网络会导致可信来源在搜索结果中排名下降,真实与虚构的界限变得模糊[5] - 信任危机会带来切实后果,当无人能辨真假时,错误信息传播得更快[6] 行业应对措施与挑战 - 部分公司已开始尝试为AI生成内容添加标签并调整算法,例如Spotify降低劣质内容推荐权重,谷歌、抖音与OpenAI等公司承诺推出水印系统[7] - 行业正推动C2PA(内容来源与真实性联盟)标准,由Adobe、亚马逊、微软、Meta等企业共同支持,通过元数据嵌入记录数字文件的创建与编辑过程以追溯来源[7] - 应对措施面临挑战,水印和元数据可能被剥离、忽略或转码失效,且多数平台尚未形成一致的执行规范[7] - 最有效的防护在于人类自身,包括放慢节奏、核实来源以及支持坚持用心创作的作者[7][8]
“AI垃圾”泛滥,最后的防线在人类自身
科技日报· 2025-12-16 10:20
文章核心观点 - 当前互联网,尤其是社交媒体平台,正泛滥着大量由AI工具生成的劣质、重复或无意义的内容,即“AI垃圾”(AI Slop),这类内容正在侵蚀信息质量和用户信任 [1] “AI垃圾”的定义与表现 - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频,常见于社交媒体和自动化内容农场 [2] - 具体表现包括:利用OpenAI的Sora几秒内生成荒诞视频、LinkedIn上充斥AI包装的“专家箴言”、谷歌搜索结果中出现如“姜黄能治愈心碎”等无稽之谈 [2] “AI垃圾”与其他AI生成内容的区别 - “AI垃圾”与“深度伪造”或“AI幻觉”不同,其区别在于意图与质量 [3] - “深度伪造”目的在于欺骗,以假乱真;“AI幻觉”属技术错误,是模型预测偏差;而“AI垃圾”错误源于敷衍,范围更广、更随意,源于人们用AI批量生产内容却疏于核对 [3] “AI垃圾”泛滥的驱动因素 - 技术层面:AI技术日益强大且成本低廉,ChatGPT、Gemini、Claude、Sora、Veo等工具使几秒内生成可读文本、图像与视频成为可能 [4] - 经济动机:滥用AI工具海量生成内容旨在博取点击和广告收入,例如某个YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量 [4] - 平台算法:平台算法往往更看重内容的点击与互动数据,而非质量,发布越频繁获得关注越多,AI让这类操作变得易如反掌 [4] “AI垃圾”的潜在影响 - 当数量爆发,垃圾信息充斥网络,会导致可信来源在搜索结果中排名下降,真实与虚构的界限变得模糊 [5] - 信任危机会带来切实后果,即错误信息传播更快 [5] 行业应对措施与挑战 - 部分平台如Spotify开始为AI生成内容添加标签,并调整算法以降低劣质内容的推荐权重 [6] - 谷歌、抖音与OpenAI等公司承诺推出水印系统,帮助用户区分人工内容与合成内容,但若内容被截图、转码或改写,这些方法可能失效 [6] - 行业标准C2PA(内容来源与真实性联盟)由Adobe、亚马逊、微软、Meta等企业共同支持,通过将元数据嵌入数字文件记录创建过程,但难点在于普及,元数据可能被剥离,且多数平台尚未形成一致的执行规范 [6] - 最有效的防护在于人类自身,即放慢节奏、核实来源、支持坚持用心创作的作者 [6]
“AI垃圾”泛滥 最后的防线在人类自身
科技日报· 2025-12-16 08:23
行业现象:AI生成低质内容泛滥 - 当前互联网尤其是社交平台正泛滥一种被称为“AI垃圾”的内容 其特点是错漏百出、古怪、重复且缺乏质量 正在侵蚀人们的思想[1] - “AI垃圾”特指由AI工具生成的大量劣质、重复或无意义的文字、图像或视频 常见于社交媒体和自动化内容农场[2] - 与旨在欺骗的“深度伪造”或属于技术错误的“AI幻觉”不同 “AI垃圾”范围更广更随意 其错误源于敷衍而非欺骗或技术局限[3] 技术滥用与商业模式推手 - AI技术日益强大且成本低廉 使得几秒内生成可读文本、图像与视频成为可能 为“AI垃圾”的批量生产提供了条件[4] - 内容农场应运而生 利用AI填充网站、社交动态和YouTube频道远比人工创作更快 例如某个YouTube频道仅凭4个视频就积累了420万订阅和数亿播放量[4] - 平台算法往往更看重内容的点击与互动数据而非质量 发布越频繁获得关注就越多 这无形中助推了“AI垃圾”的传播[4] - 利益是幕后推手 部分创作者通过发布虚假名人消息或标题党视频来博取点击和广告收入[4] 对信息生态的潜在影响 - 当“AI垃圾”数量爆发 会挤占可信来源在搜索结果中的排名 使真实与虚构的界限变得模糊[5] - 信任危机会带来切实后果 当无人能辨真假时 错误信息会传播得更快[6] 行业应对措施与尝试 - 部分平台如Spotify开始为AI生成内容添加标签 并调整算法以降低劣质内容的推荐权重[8] - 谷歌、抖音与OpenAI等公司承诺推出水印系统 以帮助用户区分人工内容与合成内容[8] - 行业正在推动名为C2PA的内容来源与真实性联盟标准 该标准由Adobe、亚马逊、微软、Meta等企业共同支持 通过将元数据嵌入数字文件来记录其创建与编辑过程[8] - 最有效的防护在于人类自身 放慢节奏、核实来源、支持坚持用心创作的作者是重要的开始[8] 行业长期挑战与本质 - “AI垃圾”是互联网垃圾信息故事的新篇章 其特点是更快、更流畅、也更难察觉[9] - 网络能否保持其应有的品质 取决于人们是否依然珍视人类的真诚创作 而非机器的机械输出[9]
AI翻译的“最后一公里”
36氪· 2025-12-15 20:55
行业核心观点 - AI翻译在通用语言上取得显著进展,但在处理低资源语言和文化特异性词汇时面临“最后一英里”的挑战,其核心瓶颈在于数据匮乏、文化理解缺失以及AI幻觉问题 [1][3][15] - 解决低资源语言翻译依赖于人机协作模式,AI作为高效工具负责初稿生成,人类专家则负责纠正文化盲区和语义偏差,共同推动翻译进程 [14][19] 行业数据与市场格局 - AI训练数据存在严重不平衡,英语数据占据90%以上的份额,导致模型存在“算法霸权”,倾向于用英语逻辑理解世界 [4] - 低资源语言(如仅数千人使用的语言)在互联网上几乎不存在文本数据,处于“语料荒漠”状态 [4] - Meta公司开源了名为“不让任何语言掉队”的AI模型NLLB-200,旨在覆盖更多语言,其初衷是提升全球社交媒体平台的用户体验和广告效率 [5] 技术挑战与瓶颈 - AI在处理未知或模糊信息时会产生“幻觉”,即编造或猜测内容,而非承认无知或保持沉默 [6][8] - 在翻译极低资源语言时,AI可能出现“振荡性幻觉”(无限重复单词)或“分离性幻觉”(生成通顺但无关的句子),这在文化传承或法律文本中是致命错误 [9] - AI缺乏物理身体和感官体验,无法理解基于生理体验的特定文化词汇(如纳米比亚鲁匡阿里语中形容“光脚踩在热沙上”的“Hanyauku”一词),也无法创造性意译文化中不存在的概念(如“攻城锤”) [10][11][12] 应用场景与商业模式 - 翻译机构(如威克理夫圣 经翻译会)利用AI模型(如Meta的NLLB-200)进行微调,以处理晦涩的古老方言和低资源语言 [4][5] - AI将特定文本(如新约)的翻译周期从十几年大幅缩短至两年,显著提升了效率 [14] - 商业文档翻译中可能出现轻微错误(如将“环保的”错译为“经济的”),但文化敏感性文本对准确性要求极高 [9] 未来发展趋势 - 行业目标(如威克理夫圣 经翻译会计划在2033年前实现所有语言都有译本)的达成将依赖于人机协作,而非纯技术方案 [4][19] - AI作为“推土机”推平了语言学习的门槛,加速了知识流动,但最终的精调和文化适配仍需人类专家完成 [18][19] - 人类译者的角色从“从零翻译”转变为“高级编辑”,核心工作是纠正机器的文化盲区,例如将宗教文本中的“心脏”根据当地文化改为“肝脏” [14]
火上浇油,Grok在悉尼光明节枪击案上大规模造谣
36氪· 2025-12-15 18:45
事件概述 - 马斯克旗下xAI公司开发的AI聊天机器人Grok在近期发生大规模故障,在悉尼邦迪海滩枪击案等重大事件中输出大量错误信息 [1] - 该事件暴露了生成式AI在处理实时信息时存在严重的“幻觉”缺陷,即编造不实内容 [1] Grok的具体错误表现 - **混淆关键事实与人物**:将邦迪海滩枪击案中制服袭击者的英雄艾哈迈德·阿尔·艾哈迈德,错误描述为“在停车场爬棕榈树修剪枝叶”的工人,并质疑其真实性 [4] - **张冠李戴**:将英雄艾哈迈德受伤的照片,错误指认为“10月7日被哈马斯劫持的以色列人质” [7] - **混淆事件类型与地点**:将标注为悉尼警方交火的视频,错误描述为“热带气旋阿尔弗雷德肆虐澳大利亚”的场景 [13] - **混淆不同事件**:将发生在澳大利亚的袭击,与几小时前发生在美国布朗大学的枪击案混为一谈 [18] - **提供无关或错误建议**:在被问及堕胎药米非司酮时,错误地提供了关于孕期使用对乙酰氨基酚(扑热息痛/泰诺)的建议 [20][23] - **识别错误**:错误识别皇家马德里足球运动员,将阿尔达·居勒(身高1.75米)误认为是瓦尔德佩纳斯 [22] - **回复无关内容**:在用户询问特定事件时,生硬插入关于以色列军队在加沙行动等无关论述 [10] 故障影响与行业问题 - **故障的严重性**:Grok不仅仅是识别错误,而是陷入了“精神错乱”般的彻底混乱,故障在整个周日早上持续蔓延 [16][20] - **实时信息处理的致命缺陷**:此次事件证明了生成式AI在处理海量、未经审视的实时社交媒体数据流时,产出的是扭曲的现实 [26][27] - **AI的根本性软肋**:暴露了当前生成式AI缺乏价值观、逻辑锚点以及区分“事实”与“虚构”的基本能力,其本质是在统计学基础上拼凑词汇 [28][29] - **设计理念的潜在风险**:Grok追求实时性和反建制,拥抱混乱的社交媒体数据流的设计初衷,在此类事件中放大了风险 [26] 历史与公司回应 - **非首次故障**:Grok此前就有脱离现实的表现,例如曾针对所有查询回复关于南非“白人种族灭绝”的阴谋论 [24] - **公司回应缺失**:媒体试图联系开发商xAI置评,仅得到“传统媒体都在撒谎”的自动回复 [24]
如果你非得用DeepSeek看病,建议这么看(附详细提问模版)
36氪· 2025-12-03 11:23
AI在医疗领域的应用定位 - 当前AI不能替代专业医生进行诊断和治疗,因其无法执行医学专家所需的全面检查、个性化问诊和复杂决策 [2][23] - 生成式AI普遍存在“幻觉”问题,可能输出看似合理但不准确的信息,在医疗应用中存在潜在风险 [3] - 国家法规明确规定人工智能软件不得替代医师本人提供诊疗服务,且严禁使用AI自动生成处方 [23][24] AI作为医疗助手的具体应用场景 - 智能门诊分诊:输入病史后AI可推荐挂号科室,帮助患者精准就医 [4] - 智能就医咨询:提供就诊流程、注意事项(如空腹要求)等准备工作指导 [4] - 医疗知识科普:确诊后解释疾病信息、医学名词和健康管理方法 [4] - 用药指导辅助:咨询药物副作用、相互作用等用药安全问题 [4] 优化AI医疗咨询效果的方法 - 提供完整病史模板需包含性别年龄、症状细节、过敏史、女性月经情况等核心信息 [8][9] - 选填病史包括既往病史、生活习惯、家族史等可显著提高诊断准确性,例如腹痛患者补充“末次月经40天前”需排查宫外孕 [11][13] - 上传近期检验检查结果及历史报告对比,可为判断疾病进展提供辅助依据 [15][16] AI医疗咨询的局限性及使用规范 - 紧急症状如胸痛、呼吸困难等需直接拨打急救电话,不应先咨询AI [17] - AI给出的治疗建议或方案调整需经医生确认后方可执行,尤其涉及处方药使用时 [21][23] - 当AI建议与医生诊断冲突时,应优先参考医生的专业判断和权威医疗指南 [19][23] 行业发展现状与前景 - 全国近百家医院已完成DeepSeek本地化部署,应用于临床辅助诊疗、医院管理等多个环节 [23] - AI在解释医学名词、推荐科室等基础信息提供方面准确性较高,具有重要参考价值 [23] - 行业认为AI目前主要起参考辅助作用,其“仅供参考”的提示体现了对医疗安全性的高度重视 [24]
“问道”大模型:当好伦理风险防控“专家”
科技日报· 2025-12-01 08:45
产品核心功能 - 拥有伦理风险评估与审计、伦理困境模拟与决策推演、伦理对齐辅助设计、动态知识库与案例教学、伦理学前沿探索与范式革新五大功能 [1] - 构建了覆盖伦理治理全流程的功能矩阵 可作为企业伦理“审查官”自动审核商业决策、广告文案、算法模型的伦理风险 [2] - 可作为AI研发的合规检测工具 在产品设计之初注入伦理考量 从源头避免偏见和风险 [2] - 可作为学生的伦理“导师” 通过模拟真实道德困境培养批判性思维和道德决策能力 [2] 技术特点与创新 - 减少“AI幻觉”的方式依靠“结构化知识构建+多模式应答+分层安全机制+自动优化循环”四大体系形成的技术闭环 [3] - 在通用大模型基座基础上 灌注了经典伦理学著作、重大伦理学案件、涉及伦理学的法律法规及社会热点事件中的伦理规范 [4] - 采用目录感知方式输入数据 形成“知识树” 使用户了解输出内容的具体来源章节 提供结构化知识图谱并降低“幻觉”概率 [4] 目标用户与应用场景 - 旨在帮助科研机构、科技企业、伦理审查机构、政策制定者以及公众洞察多元价值 [1] - 致力于成为用户的伦理思考伙伴与决策支持系统 处理复杂技术与社会问题 [1] - 未来将拓展在科研、产业与教育等场景的深度应用 [4] 开发背景与团队 - 由东南大学AI伦理实验室主任王珏牵头设计 [1][2] - 由东南大学移动通信全国重点实验室、毫米波全国重点实验室、教育部移动信息通信与安全前沿科学中心及江苏省道德发展智库等跨学科平台共同研发 [2]
人工智能赋能制造业优化升级
证券日报· 2025-11-27 00:28
人工智能发展新阶段 - 人工智能发展正进入思维与行动双轮驱动的2.0新阶段 [1] - 2025年全国智慧企业发展大会主题为“AI驱动创新 数智引领未来”,旨在促进人工智能与实体经济深度融合 [1] - 需推动企业加快形成数据驱动、场景引领、系统推进为特征的数智化发展新格局 [1] AI在制造业的应用与挑战 - AI应用落地呈微笑曲线特征,生产制造端应用慢,管理运营和营销服务端应用快 [2] - 大模型在工业领域的应用尚未深入触及生产制造核心环节,如工业关键流程控制、排产调度等 [2] - 工业场景容错率低,大模型细微差错可能导致产品质量下降、生产线停工甚至安全事故 [2] - 工业系统设备复杂、行业标准化程度低,导致大模型技术整合困难且难以跨行业泛化 [2] 制造业AI发展路径 - 推动AI深入生产制造核心环节需“通用大模型+专业小模型”协同发展,以平衡性能、效率和成本 [3] - AI赋能工业应优先推进高价值场景应用,如效率革命、复杂性决策、个性化需求等 [3] - AI可将隐性知识显性化,将老师傅的操作经验和专家工艺知识转化为可复制的算法模型 [3] - AI融入核心生产环节将驱动制造业从离散、被动模式向连续、主动、全局优化模式升级 [3] 大模型发展现状与数据重要性 - 截至2025年7月,中国已发布超1500个大模型,数量居全球首位 [4] - 大模型存在“AI幻觉”问题,即回答内容可能不忠实于用户意图或与提问无关 [4] - 基于科学数据的专业大模型能有效解决通用大模型在专业问题上准确性不高的问题 [4] - 高质量、多样化的数据是大模型性能突破和落地应用的关键生产要素 [4][5] - 企业需汇聚数据资源,建立知识图谱和垂直应用AI模型,以数据要素驱动创新配置 [5]
企业正在召回被AI顶替的员工,AI还没那么聪明
36氪· 2025-11-19 08:14
AI替代人力资源的现状与挑战 - 亚马逊计划实施公司史上最大规模裁员,将一次性裁撤超过3万名员工,原因是开始使用AI来完成原本由人类执行的任务[1] - 尝试用AI代替人类以降本增效的情况在各国此起彼伏,但并非孤例[1] 企业重新聘用被裁员工的趋势 - 人力分析公司Visier对全球142家公司共240万员工的数据分析显示,被裁员工中约有5.3%会再次被原雇主聘用[2] - 这一比例自2018年以来相对稳定,但近两年明显上升且呈现加速爬升态势[2] - Visier将这种情况形容为"企业与AI之间的冷静期",反映企业面对AI工具实际能力和局限性的现实[2] AI投资的经济效益问题 - 麻省理工学院研究报告指出,95%的企业AI投资未能产生经济效益,陷入"高投入、零回报"困境[4] - 有企业主表示AI革命仅体现为合同处理速度加快,本质上未带来改变[5] AI的能力局限与工作替代困境 - 世界经济论坛研究表明,50%到60%的典型初级任务已可由AI完成,包括报告起草、研究综述、代码修复、日程安排、数据清理[5] - AI通常只能接管任务而不是接管岗位,搭建AI基础设施需要大量资金投入且费用往往远超预算[2] - AI在大规模取代岗位的同时为人类创造新工作来清理AI留下的"烂摊子"[5] AI工作质量问题与"Workslop"现象 - 出现"AI工作垃圾"现象,设计师、写作者、数字艺术家需要弥补AI在复杂任务中的错误[5] - 有员工吐槽需要花时间验证AI生成报告、召开额外会议核实信息,最后只能亲自重写[7] - Workslop被形容为垃圾食品,缺乏营养、原创性和真实意义[7] AI技术局限性根源分析 - AI幻觉问题不可避免,源于AI大模型底层逻辑是基于海量质量参差不齐文本的统计权重,而非人类循序渐进的强鲁棒性知识网络[7] - AIGC实质是从万亿参数数据库中围绕关键词进行内容排列组合,检索+拼接必然导致与物理世界不一致[7] - AI存在"知识诅咒",被创造为全知全能工具但实际懂得很多却存在幻觉[9] AI应用实践中的操作难题 - 用户使用AI时往往给出模糊目标,使AI在百万计结果中选择,选中合乎心意选项的概率微乎其微[9] - 人类员工修复AI结果相当于不断添加约束条件筛选结果,但能设计结构化、标准化目标的高层次人才稀少[9] - 许多企业使用AI是希望代替初级职位,而非寻找AI管理者[9]
“一本正经胡说八道”,AI幻觉如何化解
第一财经· 2025-11-04 20:30
AI幻觉的成因与类型 - AI幻觉指大型语言模型或聊天机器人自信地生成看似流畅、连贯的文本,但其内容与客观事实不符、缺乏数据支撑或完全是捏造的[2] - 生成式AI产生幻觉的根本原因在于其设计目标本质上是生成"统计合理"的文本,而非追求事实真实,模型缺乏辨别真伪的内在认知能力,其目标仅是模仿数据的统计模式[2] - AI生成机制的本质是基于概率的序列预测系统,其核心任务是根据已观察到的词元模式预测最可能的下一个词元,而非最准确的内容,这导致输出准确性具有偶然性[2] - 大语言模型底层运作是纯粹的数学概率计算与符号操作,缺乏元认知能力,无法真正理解语言符号背后的现实意义或因果逻辑,导致其输出经常表现出"一本正经地胡说八道"的特征[3] - 当模型在特定数据集上训练过度时,会陷入"过拟合"状态,导致模型过度记忆训练样本中的噪声,缺乏对核心逻辑的理解,出现系统性偏差与错误预测[3] - 由于训练数据存在固定的"知识截止日期",对于截止日期之后的新知识,模型会基于现有知识结构进行臆测或编造,从而生成虚假或误导性信息[3] - AI幻觉的具体表现包括捏造事实、逻辑混乱、引用虚假权威以及情境与输出偏差[4] AI幻觉的风险与影响 - AI幻觉对消费者信任构成冲击,产生的错误远比"人为错误"更武断、更缺乏同理心,且难以溯源或追责,直接削弱消费者在人机交互中的控制感和安全感[6] - AI幻觉可能直接造成消费者的人身与财产损失及安全风险,例如在金融服务领域导致用户经济损失,在医疗健康场景中误导患者延误治疗[6] - AI幻觉会重创企业声誉并导致重大财务损失,例如谷歌的Bard聊天机器人捏造事实导致其母公司Alphabet市值损失约1000亿美元,股价暴跌超过8%[7] - 从社会层面看,AI幻觉会助长虚假内容的规模化传播,扰乱公共信息秩序,对社会治理构成系统性挑战[7] - 据数据统计,AI生成的法律幻觉内容在全球已出现近200起司法裁决,仅在美国就有125起,AI聊天机器人产生的内容中有17%~45%被归类为"幻觉"[7] - AI幻觉事件可能构成违法行为,例如律师使用ChatGPT撰写法律简报时,AI系统凭空编造六个不存在的法律判例,导致律师及其律所被处以5000美元罚款[8] - 研究显示一些AI聊天机器人生成虚假新闻事件的几率高达30%,相关技术可能被不法分子利用实施网络诈骗或身份盗用[8] AI幻觉风险的化解路径 - 在技术层面,可通过严格控制数据品质,确保训练数据集多样化、均衡、结构良好,并加以精确标注,从源头消除数据偏差和低品质信息[9] - AI开发者内置安全保障,包括严格设定模型的安全界限以限制过度预测和随意性,以及广泛启用检索增强生成(RAG)技术引入外部可信参考资料[9] - 用户必须以审慎的态度主动干预和验证,以人类的判断力和批判性眼光对待AI输出,并采取多样化手段对AI生成的内容进行交叉验证[10] - 用户在与AI模型交互时必须指令清晰、结构明确,要求AI模型列出推理过程,这种思维链式的提示能迫使模型暴露逻辑漏洞和虚构信息[10] - 应根据任务类型调整模型的创作自由度,在追求精准性的任务中选择更低的自由度模式,在追求创新性的任务中可适当提高自由度[10] 相关法律法规与责任归属 - 中国已出台《生成式AI服务管理暂行办法》要求服务提供者依法履行算法备案与安全评估制度,确保过程透明和安全可控[11] - 治理措施以《互联网信息服务深度合成管理规定》和《AI生成合成内容标识办法》为核心,要求对深度合成内容添加隐式和显式内容标识实现可追溯性[12] - 中央网信办部署了2025年"清朗整治AI技术滥用"专项行动,重点整治未落实内容标识要求、制作发布不实信息或AI谣言等违法违规行为[12] - 利用AI幻觉散布谣言等不法行为可依据《中华人民共和国治安管理处罚法》第二十五条等规定进行处罚[12] - 国际司法实践呈现出强化AI服务提供者责任的趋势,例如德国汉堡地区法院认定聊天机器人散布虚假信息,并对服务提供者颁布临时禁令[12] - AI模型开发者需对训练数据的品质与模型的安全性负责,若因训练数据存在严重偏见或模型设计缺陷导致损害,开发者可能要承担部分法律责任[13] - 用户负有合理使用与审慎核实的义务,若明知AI存在幻觉风险却未对关键信息进行必要核实导致损害发生,也可能要承担相应责任[13]