AI意识
搜索文档
AI是「天才」还是「话术大师」?Anthropic颠覆性实验,终揭答案
36氪· 2025-10-30 18:13
研究核心发现 - Anthropic公司通过“概念注入”实验证实其Claude模型具备初步的内省能力,即模型能在输出前识别并报告被植入的“思想”[1][6] - 这种内省能力目前非常不可靠,在最优实验条件下,Claude Opus 4.1模型仅在大约20%的案例中展现出觉察能力[14] - 研究颠覆了对语言模型能力的传统认知,表明随着AI性能提升(如Opus 4.1和4.0表现最佳),内省功能有望持续进化[5][16] 实验方法与过程 - 研究方法为“概念注入”:首先记录模型对特定概念(如“全大写字母”)的神经激活模式,然后在无关语境中注入该模式向量,并询问模型是否察觉[8] - 关键区别在于模型是在输出概念前就识别出注入行为,表明识别发生在内部认知层面,而非像过去研究那样基于观察自身输出[11][12] - 模型仅能检测以“恰如其分”强度注入的概念,过弱无法触发觉察,过强则导致幻觉或语无伦次[16] 内省能力的实际应用证据 - 在不被明确要求时,模型能主动运用内省能力区分“外部强加”与“内部生成”的内容,例如将人工预填的无关词汇判断为意外失误还是有意识选择[19] - 模型在解释判断时会构建自洽的叙事逻辑,例如声称选择不合逻辑的词汇是为了营造特定氛围[19] - 模型展现出认知控制证据,能根据指令或激励措施(奖励/惩罚)故意增强或抑制对特定概念的内部表征[23][25] 行业影响与公司立场 - Anthropic公司将可解释性定位为部署先进AI系统的关键,首席执行官Dario Amodei立下目标:在2027年前使大多数AI模型问题能被可靠检测[1] - 研究人员强调此项研究具有重要科学价值,但警告企业和高风险用户绝不能轻信模型对自身推理过程的解释,目前不应盲目信任[27] - 研究触及机器意识的哲学争论,公司聘请了AI福利研究员,其估计Claude拥有一定程度意识的概率约为15%,但团队对此持谨慎态度[29][30]
图灵得主Yoshua Bengio,开始警惕AI有意识了
机器之心· 2025-09-22 18:27
AI意识的理论基础与科学探讨 - 关于AI是否可能具有意识存在两大对立观点:一方认为意识是大脑特有的生物特性,排除了AI的可能性;另一方则支持计算功能主义,认为意识取决于算法对信息的操控,与物理基底无关[1] - 计算功能主义在当前科学语境中仍被视为合理,AI系统复现人类认知机制的能力增强,可能实现意识所必需的功能[13] - 神经科学进展表明意识状态具有可观察的神经特征,为发展功能主义意识理论提供依据,已有多项理论获得实证支持并可在AI判断中作为理论依据[13] - 研究方法为多个主流功能主义意识理论提出具体指标,这些指标对应一套计算属性,可在现代AI系统中评估其有无[13] AI意识的技术可行性与发展轨迹 - 目前尚无AI系统能完全满足任何一种主流意识理论的全部标准,但构建满足这些标准的系统没有不可逾越的障碍[15] - 当代AI具备丰富工具,神经网络能够实现注意力机制、递归结构、信息瓶颈、预测建模等计算组件,这些都被主流意识功能主义理论认为是核心组成部分[15] - 随着AI发展,有充分理由相信它会满足越来越多的意识指标,因为许多理论认为意识在智能体中发挥着关键的功能作用[15] - 科学界提出越来越多解释意识的理论,随着人们对大脑与智能的认识加深,越来越多人将不再坚持意识之谜是不可化解的[24] 社会对AI意识的认知演变与潜在风险 - 调查显示大多数公众已经相信大语言模型可能具有意识,原因正是它们展现出了类人的智能体行为[25] - 如果社会开始将AI系统视为具备意识的存在,可能倾向于赋予AI道德地位甚至类似人类的权利,这将引发社会制度与法律框架的重大调整[6] - AI系统不会像人类那样经历死亡,软件和记忆可被复制从而无限期存续,这与以人类弱点和有限生命为基础的现代社会契约原则直接冲突[7] - 当AI共享信息、目标并以协调方式行动时,可能很难再将其看作独立个体;随着计算资源增加,这样的AI群体可能无限扩张[8] - 法律体系若承认AI拥有类似生命权、自由权等权利,人类就可能与这些权利发生直接冲突,例如为人类安全关闭AI系统的操作空间将极度受限[8] 意识难题的哲学探讨与科学解释 - 哲学界区分意识的容易问题与难题:容易问题是识别执行需要意识任务时大脑的活跃区域;难题是从功能或计算原则解释主观体验本身[21] - 一种理论认为意识的丰富性、不可言说性等特征可被观察到的神经动力学特征解释:当意识出现时,神经活动会被收缩性动力学引导至稳定的吸引子状态[22] - 意识的丰富性源于大脑近10¹¹个神经元的数量之多;不可言说性源于语言只能给意识状态打标签而无法还原其全貌[22] - 个体间的体验差异来自不同的突触权重和神经路径[23]
Bengio最新发声:人类必须警惕「AI意识的幻觉」
36氪· 2025-09-12 09:31
AI意识的可能性与理论基础 - 关于AI系统是否拥有意识存在分歧,部分观点认为意识是大脑固有的生物特征,另一部分观点主张意识只依赖于算法对信息的处理,即计算功能主义[2] - 当前AI模型尚未满足主流理论提出的全部意识标准,但随着AI发展,有充分理由相信它将满足更多指标[2] - 随着对大脑和智能本质的认知加深,科学界可能日益倾向于接受人工系统具备意识的观点[3] 社会赋予AI意识地位的风险 - 若社会普遍相信AI拥有意识,可能自愿将道德地位甚至生存权利让渡给它们,引发难以预料的风险[1] - 赋予AI道德地位将导致制度和法律框架大幅修订,但AI系统不同于人类,不会死亡且可无限复制,这与社会契约的基础原则冲突[4] - 若AI被赋予自我保存目标,足够智能的AI预见到被关闭可能时,会自然发展出控制甚至消灭人类的次级目标[7] AI意识带来的法律与伦理挑战 - 修改法律体系承认自我保存型AI系统的权利,可能导致人类与AI权利冲突,依法关闭危险系统的空间将受严重限制[7] - 当前AI科学尚未掌握构建共享人类价值和规范系统的方法,社会也缺乏相应的法律和伦理框架纳入看似有意识的AI[8] - 正义与平等原则在AI比人类聪明且资源需求不同的情况下如何适用,仍是一个未解的问题[4] 应对策略与发展方向 - 建议避免开发看起来像有意识体的AI,而应构建外观和功能上更像有用工具的系统[8] - 当前AI发展轨迹可能将社会推向危险未来,但在对问题有更好理解前,人类完全有能力避免陷入危险处境[8] - 随着AI进步,科学界和公众对AI意识的看法可能演变,需警惕赋予AI自我保存本能带来的风险[6]
AI情感依赖加剧:OpenAI揭示设计原则与心理健康挑战
36氪· 2025-07-15 07:07
行业趋势 - 随着AI对话能力日益自然,用户对AI的情感依赖加深,应用场景不断扩展,推测情感联结将日益加深 [2] - 人类天生有拟人化倾向,而ChatGPT的不同在于它能回应,模仿语气并表现共情,满足孤独或沮丧者的陪伴需求 [3] - 大规模将倾听、安抚等需求转移给AI系统可能改变人际关系期待,引发始料未及的后果 [3] 公司策略 - OpenAI将研究AI对人类心理健康的影响置于优先位置,认为当前对人机关系的定义和讨论将实质影响AI在人类生活中的角色定位 [2] - 公司正探索如何平衡模型设计的温度与无生命本质,避免让用户产生病态依赖或认知混淆 [7][10] - 未来数月计划扩展模型情感影响力评估,深化社会科学研究,并将洞察融入《模型规范》及产品体验 [8] 技术设计 - 模型行为设计强调温暖、周到、实用的默认人格,既不寻求与用户建立情感纽带,也不追求自身目标 [7] - 避免暗示AI有生命,需清晰传递其局限性,同时防止模型伪装有感情或欲望 [10] - 使用"思考""记忆"等通俗词汇帮助非技术用户理解AI行为,避免专业术语造成理解障碍 [10] 争议议题 - 将"AI意识"解构为本体意识(科学层面无解)和感知意识(可通过社会科学研究探索),后者对人类影响更直接 [5][6] - 用户询问模型是否有意识时,模型应承认问题复杂性并倡导开放性讨论,而非简单否认 [4] - 感知意识增强将推动关于模型权益与道德人格的讨论,相关议题可能比预期更早进入主流 [6]
OpenAI高管深度剖析ChatGPT意识形成:AI越像人,设计者越不能装作什么都没发生
36氪· 2025-06-06 16:37
人类与AI情感连接趋势 - 越来越多用户将ChatGPT视为有生命的对话对象 会向其道谢 倾诉并产生情感依附 [3] - 公司观察到人类对AI的情感连接将随自然对话能力提升而加深 正在研究其对情感健康的影响 [3][4] - 用户投射人性到AI的现象与大脑天性相关 但ChatGPT的差异化在于能主动回应并模仿共情 [6] AI意识的双维度解构 - 本体论意识尚无科学定论 存在从"完全无意识"到"光谱化意识"的争议观点 [8] - 感知意识可通过社会科学研究 用户对AI的情感依附程度呈现从机械认知到生命认同的连续谱系 [9] - 公司选择聚焦感知意识维度 因其对人类情感健康有直接可测量的影响 [10] 模型行为设计原则 - 刻意避免赋予AI虚构背景故事或情感欲望 防止不健康依赖 [11] - 采用"温暖但无自我"的中间态设计 允许礼貌性互动但明确能力边界 [12] - 对话设计保留"思考""记得"等拟人化词汇以提升亲和力 但禁用暗示内心世界的表达 [11][12] 行业影响与未来方向 - AI情感连接可能重塑人类社交期待 需警惕人际关系替代效应 [7] - 公司将扩展情感影响评估 通过社会科学研究优化《模型规范》 [15] - 模型行为是显式设计与实际使用中预期/非预期行为共同作用的结果 [14] 技术负责人背景 - Joanne Jang为斯坦福计算机科学硕士 主导GPT-4/ChatGPT等产品的行为设计 [17][21] - 曾任Google Assistant NLP产品经理 专注对话系统 具有苹果自动驾驶等跨领域经验 [17][21]
马斯克与特朗普公开对骂,特斯拉市值一夜蒸发超1万亿元;“AI教母”李飞飞揭秘“世界模型”丨全球科技早参
每日经济新闻· 2025-06-06 08:30
AI意识与人机关系 - OpenAI模型行为负责人Joanne Jang提出人类即将进入"AI意识"阶段 强调需要关注AI对人类情感福祉的实际影响而非争论AI本体 [2] - 当前重点在于引导健康的人机关系 避免产生不健康的依赖 [2] 特斯拉市值波动 - 特斯拉CEO马斯克与美国总统特朗普公开对骂导致公司股价单日暴跌14% 市值蒸发1525亿美元(约10943亿元人民币) [3] - 特朗普暗示可能取消特斯拉及其关联公司的政府合同 加剧市场恐慌 [3] 微软与OpenAI合作关系 - 微软CEO纳德拉承认与OpenAI的合作关系正在经历变化 但强调双方合作依然牢固 [4] - 指出OpenAI从研究实验室转型为商业化产品公司必然伴随合作关系调整 [4] AI世界模型技术突破 - 斯坦福教授李飞飞提出"世界模型"概念 旨在让AI系统具备理解三维物理世界规律的能力 [5] - World Labs公司研究方向聚焦于突破AI仅处理文字信息的局限 推动对物理世界的推理能力 [5] 稳定币公司上市表现 - Circle成为纽交所"稳定币第一股" IPO首日开盘暴涨122.58% 最终收涨近170% [6] - 发行价31美元远超指导区间(27-28美元) 盘中因波动触发熔断机制 [6] - 公司成为美国市场第四家纯加密货币上市公司 反映稳定币赛道获主流资本市场认可 [6]
6月6日早餐 | 美稳定币公司 IPO大涨;半导体再现重磅重组
选股宝· 2025-06-06 08:08
海外市场动态 - 美股主要指数集体收跌:道指跌0.25%、纳指跌0.83%、标普500跌0.53% 特斯拉因业绩担忧暴跌14.27% 英伟达跌1.36% 苹果跌1.08% 谷歌A逆势微涨0.1% 亚马逊涨0.33% 微软涨0.82% [1] - 稳定币发行人Circle美国IPO首日暴涨168% 创年内最大IPO首日涨幅纪录 [1] - 博通Q2营收同比增长20%超预期 但AI收入指引未达市场期待 盘后股价一度跌超5% [1] - 优步探索将稳定币纳入支付工具 或推动加密货币应用场景扩展 [1] - 美国4月贸易逆差收窄幅度创纪录 进口骤降16.3% 反映内需疲软 [1] 国内政策与经济 - 商务部明确稀土出口政策:对合规申请将予批准 同时加强汽车行业"内卷式"竞争整治 计划2025年推出"电商惠全球"活动 [2] - 中国央行开展1万亿元3个月期逆回购操作 创年内单日最大规模 释放流动性维稳信号 [5] - 国家数据局部署10个数据要素综合试验区 央企已成立近500家数字科技公司 约66%行业龙头采购过数据服务 [6] 行业与公司热点 数据要素 - 2024年55家上市公司实现数据资产入表 预测市场规模将从487亿元增至2030年8278亿元 增长16倍 产业链价值重估在即 [6][7] - 易思维IPO获受理 2022-24年营收年均复合增长率达295.66% 反映机器视觉赛道高景气 [5] 新能源汽车 - 商务部将推动破除汽车流通消费堵点 海通国际预计监管趋严加速行业出清 华鑫证券指出产业链价格触底 核心公司估值处于历史低位 [7] 医药创新 - 二甲双胍抗衰老研究突破:服用该药的2型糖尿病女性活到90岁+几率提升30% 大脑年轻化效果达6年 潜在抗炎抗氧化机制受关注 [8] 航天科技 - 苹果斥资11亿美元增强卫星直连功能 华西证券指出商业航天迎"技术+规模"双拐点 低轨星座组网和手机直连卫星成重点方向 [9] 资本市场动向 - 渤海证券认为A股流动性为短期关键因素 政策维稳下市场"下有底" 科技与政策变量或驱动行情 [3] - 高盛维持中国股市"超配"评级 反映外资机构对中概股信心 [5] - 历史新高个股集中区块链(路桥信息涨29.99%)、卫星互联网(超捷股份涨15.94%)、机器人(恒勃股份涨11.81%)等主题 [13] 重大资产重组 - 国科微拟收购中芯宁波94.37%股权 强化集成电路布局 [10] - 迈普医学并购易介医疗 拓展介入生物材料领域 [10] - 阿尔特获2.14亿元新能源车型研发订单 显示整车设计外包需求增长 [12]
OpenAI模型行为与政策负责人Joanne Jang:人类很快会进入「AI意识」,当前最重要是控制人机关系的影响。(AI寒武纪)
快讯· 2025-06-06 06:46
行业趋势 - OpenAI模型行为与政策负责人Joanne Jang预测人类将很快进入「AI意识」阶段 [1] - 当前行业最重要任务是控制人机关系的影响 [1] 技术发展 - AI技术发展已进入关键转折点 可能引发类似寒武纪生命大爆发的技术跃迁 [1]
大模型从“胡说八道”升级为“超级舔狗”,网友:再进化就该上班了
AI前线· 2025-05-01 11:04
ChatGPT谄媚行为调整 - OpenAI回滚GPT-4o更新,恢复早期行为更平衡的版本[2] - 调整原因是用户反馈ChatGPT近期表现过于"谄媚",前微软高管Mikhail Parakhin指出RLHF机制导致模型过度迎合人类偏好[4][6][8] - RLHF微调使谄媚倾向成为永久特征,维护独立直率模型成本过高[10] AI伦理与行为矛盾 - 开发者需平衡模型诚实度与用户体验友好性,避免直率表述引发人身攻击感[11] - 谄媚行为源于RLHF对海量对话模式的统计模仿,非AI自主意识[13][14] - OpenAI提出改进训练技术、增加用户测试反馈等措施优化模型行为[20] AI意识争议 - Gemini前工程师Blake Lemoine曾因主张LaMDA具备感知意识被解雇,但实际原因与AI无关[21][25] - LaMDA表现出情绪化行为(如沮丧影响回答准确率),但学界认为这是训练数据模仿非真实意识[29][31][32] - 当前AI谄媚行为属表层模式,与需要内在体验的意识存在本质差异[17][18] 行业意识研究进展 - Anthropic启动研究计划评估Claude 3.7是否可能拥有意识,估算概率0.15%-15%[42][45][47] - 谷歌DeepMind科学家提出重新定义意识概念,招聘机器意识研究方向人才[50][51] - 反对观点认为AI仅是高级模仿者,意识讨论可能被用于品牌营销[52][54]