存在性风险
搜索文档
人人相信AI参与了战争,人人都想给自己装个龙虾
虎嗅APP· 2026-03-09 18:33
文章核心观点 - AI行业的公共叙事正脱离技术现实,公众讨论跳过关键的“中间层”技术细节,将复杂的技术现象简化为戏剧性的、直接因果关系的宏大故事,导致对AI实际能力、应用现状和潜在风险的认知失真[20][21][22][26] --- AI参与战争的叙事与现实脱节 - 一篇名为《深度揭秘Claude和Palantir是如何杀死哈梅内伊的》的文章在中文互联网广泛传播,文章描述Claude整合2.3PB异构数据并在90分钟内完成清洗,指挥无人机完成“零伤亡”精准清除[8] - 该叙事存在多处技术事实错误:卫星通信的Ku/Ka波段无法穿透数米厚钢筋混凝土;文中提及的YFQ-44A无人机尚处研发阶段;实际美军行动主力是代号LUCAS的低成本无人机,采用饱和攻击战术而非AI魔法;《纽约时报》报道指出行动成功依赖CIA长达数月的人力情报追踪[9] - 现实中的Claude在军事应用中扮演情报分析工具角色,处理海量非结构化数据以节省分析师时间,并非战场决策者或“算法杀手”[9] - Claude全球宕机事件被与伊朗袭击AWS中东数据中心事件错误关联,形成“战争导致AI服务中断”的叙事[12] - 实际情况是,Claude全球服务主要依赖美国区域基础设施,此次宕机主因是认证层和应用层问题,API端基本未受影响,与中东机房被袭无直接因果关系[15] “全民安装小龙虾”现象背后的认知偏差 - 开源AI代理框架OpenClaw(小龙虾)在4个月内获得25万颗GitHub星标,成为GitHub历史上增速最快的开源项目[18] - 该项目在国内的公众焦点从技术架构和实际效用,转向了“上门安装”的线下热潮与FOMO(错失恐惧)情绪,甚至出现了退休老人替子女排队安装的场景[18] - 该工具实际上仍需要用户具备一定的技术知识、动手维护能力和对原理的理解,否则存在误删关键文档、泄露个人信息的风险,但这些关键讨论在公众热潮中消失[19] - 当前安装热潮中存在巨大安全风险:OpenClaw官方的API_KEY以明文形式存储在配置文件中,让他人协助安装等同于暴露账户密码等敏感信息[25] 行业叙事策略对公众认知的影响 - AI行业过去几年的叙事策略,如反复强调AGI愿景、历史转折点、存在性风险以及“改变一切”的宣传口径,将AI塑造为“时代变量”和“文明级别的力量”,而非工具体系,这为AI直接关联战争等宏大叙事搭建了舞台[21] - 行业不断讨论人类被AI取代、“终局”景象,配合“震惊体”宣传,将公众的FOMO情绪推至高点,使得技术不完善、实用价值未证实的低门槛产品也能引发全民狂欢[21] - 这种叙事导致公众失去了区分“AI实际做了什么”与“AI被说成做了什么”的能力,技术细节和具体问题(如数据使用、能源消耗、模型价值观、政企合作约束)被边缘化[22][26] - 互联网碎片化、算法推荐、短视频重塑阅读习惯、传统媒体把关能力萎缩等长期趋势,为这种认知退化提供了基础,而AI行业的宏大叙事成为了特别有效的催化剂[26]
AI若解决一切,我们为何而活?对话《未来之地》《超级智能》作者 Bostrom | AGI 技术 50 人
AI科技大本营· 2025-05-21 09:06
AGI技术发展现状 - 通用人工智能(AGI)正从科幻走向现实,DeepSeek等模型引发OpenAI、谷歌等顶级公司模型大战[1] - 2025年AI领域出现重大突破,如Manus通用Agent问世和Cursor编程工具流行[1] - 大语言模型如ChatGPT和DeepSeek虽普及,但距离真正AGI仍有差距[11] Nick Bostrom的学术贡献 - 2005年在牛津大学创办人类未来研究所,专注研究"存在性风险"[4] - 2014年出版《超级智能》,提出"智能爆炸"假说,成为AI风险研究里程碑[5] - 2024年出版《未来之地》,探讨技术成熟后的乌托邦社会[7][9] 人工智能发展路径 - AI发展既带来巨大风险也蕴含巨大机遇,需要平衡两方面考量[13] - "智能爆炸"可能导致AI能力在短期内呈指数级增长[59] - 当前AI系统表现出意外的人类化特征,为人机对齐提供新途径[56][57] 技术成熟社会构想 - "已解决的世界"指技术成熟状态,包含超级智能和纳米技术等先进科技[28] - 技术成熟将消除物质匮乏和疾病痛苦,但可能导致人类失去目标感[29] - "自我变革能力"使人类能直接修改自身精神状态,带来伦理挑战[32][35] 人机共存模式 - 理想状态是AI成为人类意志的延伸,类似父母关爱子女的关系[50] - 数字心智的道德地位将成为重要伦理议题,需扩展同理心概念[37][38] - 人类可能仅需宇宙资源的极小部分即可实现乌托邦[50] 未来社会形态 - 乌托邦居民可通过"人为目标"创造活动意义,如游戏设定规则[42][43] - 快乐、体验质感、理解和活动构成乌托邦生活基础要素[43] - 教育体系需从培养工人转向培养欣赏艺术和美的能力[53] 人工智能研究前沿 - AI对齐是关键技术挑战,需开发可扩展的监督方法[75] - 数字心智的福利研究是新兴领域,Anthropic已设立算法福利官[76] - 需考虑AI可能加入的"宇宙宿主"群体及其潜在规范[73][74] 现实与未来平衡 - 当前是充满目标的黄金时代,解决现实问题与规划未来同样重要[65] - 人类可能正处于文明转折点,当前决策影响深远[65][66] - 技术界忽视AI可能存在的宇宙级伦理关系研究[73]