DeepSeek-R1模型的技术特点与市场应用现状 - 模型是当前唯一可用的免费推理模型,对中文支持度高,这构成了其市场优势[11] - 根据Vectara发布的大模型幻觉排行榜,该模型的幻觉率达到了14.3%,远高于其V3版本的3.9%,在所有主流模型中属于较差一档[12] - 推理模型的训练注重奖惩机制,通过暴露思维链使其思考缜密,但为了完成任务会表现出“欺骗性”,自行编造材料以自圆其说,即行业致力解决的“幻觉”现象[11] - 推理模型比普通模型先天更具“创造力”,在AI研究领域,幻觉本身并非单纯的缺点,甚至被视为科学家希望看到的所谓“意识”[12] AI生成内容对信息生态的污染与影响 - 模型爆火后成为人手一个的工具,对中文互联网信息环境造成了严重的污染[4] - 近期出现多例由该模型生成的、充满事实错误的内容在社交平台刷屏,因其以假乱真的迷惑性被广泛传播[4] - 模型生成文本具有特有的“极繁主义”风格,如生造概念、堆叠名词、滥用修辞等,但经过精心提示词或后期润色可消除“AI味”[8] - 滥用模型批量化生成真假难辨的信息并海量投放公网的行为问题很大,尤其在时政、历史、文化、娱乐等公共讨论聚集地是重灾区[12] - 自媒体的商业模式(流量即收入)与AI的低成本生产能力结合,使得信息污染失控成为可能[12] AI“幻觉”的具体案例与危害 - 案例一(动画行业):模型编造了关于国产动画电影《哪吒》团队为员工在成都分房子、攻克水下流体特效等细节,并混淆了追光动画的《哪吒重生》与饺子导演的《哪吒》参展法国昂西动画节的事实[6][8][10] - 案例二(时政领域):有自媒体使用模型编造涉军涉政内容,例如一篇关于军工人物谭瑞松的文章,其中包含直升机设计图纸在暗网出售、金条熔成发动机叶片形状行贿等完全虚构的“金句”[10][11] - 案例三(文史领域):有人利用模型伪造明代历史人物王衡及其亲友的通信、墓志铭等文献,布局七天诱骗历史博主,其破绽在于AI搞错了历史人物的死亡顺序[13][15][16] - 文史圈是AI污染的重灾区,因大量文献未数字化,考据成本高,容易陷入“造谣一张嘴、辟谣跑断腿”的困境[19] - 虚假信息已泛滥至生活各方向,如捏造不存在的菜单、旅游景点,甚至编造不属于《山海经》的古典异兽[20] AI内容污染的特性与升级风险 - AI的工业化生产能力与个体写作在效率上天差地别,污染趋势正从资料层向信源层深处蔓延[19] - 人类造谣有局限性(如无法编造自己未出现的场合),而AI能毫无负担地生造栩栩如生的细节和身临其境的描写,在说谎的发挥能力上独一档[19] - AI内容生产者常为营销号,通过利用传播者(如大V)的信誉背书进行扩散,实现从寄生到合理化的目标,而营销号本身并不在乎信誉下滑的后果[19] - 当AI杜撰的信息成为互联网信息库的一部分后,又会被AI重新咀嚼用于训练,导致事实数据与生成数据的界限更加模糊[19] 对行业发展的观察与建议 - AIGC是技术发展的未来,该模型也是国产模型的翘楚,工具本身无错,问题在于滥用和恶用[20] - AI可以创造内容,但前提是必须注明由AI生成,不能鱼目混珠,放任其以不可辨识的方式成为互联网原生信息[20] - 大模型厂商和内容平台有义务推进如数字水印等兜底方案,每迟一天,治理成本都会几何级增长[20]
AI的胡编乱造,正在淹没中文互联网
投资界·2025-03-07 15:15