Workflow
LLM
icon
搜索文档
倒计时3周离职,LeCun最后警告:硅谷已陷入集体幻觉
36氪· 2025-12-16 15:11
对当前主流AI发展路径的批判 - 核心观点认为大语言模型路线是死路,无法通往人类水平的人工智能,硅谷对不断“堆大”LLM的痴迷是一条死路 [1][3] - 指出当前基于LLM的AI智能体在可靠性、数据效率、多模态处理上远远不足 [12] - 批评行业存在危险的“羊群效应”,科技巨头几乎都在做同一件事即疯狂堆叠LLM,形成了“单一的文化” [26][28] - 明确表示所谓的ASI路线——不断训练LLM、用更多合成数据、雇几千人做后训练、折腾RL新技巧——完全是胡说八道且永远不可能成功 [1][28] 提出的替代技术路线:“世界模型” - 主张“世界模型”才是实现人类水平AI的“正确方法”,其能够预测动作后果并用于规划,是智能的重要组成部分 [12][14] - “世界模型”在抽象表征空间中进行预测,而非像素级输出,旨在处理高维、连续和嘈杂的模态数据,这是LLM完全做不到的 [3][14][23] - 其技术基础是联合嵌入预测架构,旨在学习一个抽象的表示空间以消除输入的不可预测细节 [16] - 近20年来一直确信构建智能系统的正确途径是通过某种形式的“无监督学习”,JEPA的发展克服了早期孪生网络的模型坍塌问题 [17] 关于数据与智能的对比 - 训练一个性能不错的LLM需要互联网上约30万亿Token的文本数据,这仅相当于约15,000小时的视频 [21][22] - 一个4岁孩子醒着时看到的视觉信息大约是16,000小时,现实世界数据的结构比文本丰富得多,仅靠文本训练永远无法达到人类水平的AI [22] - 合成数据有用,但LLM并不真正理解通过经验习得的基本概念,只是被微调出来给出正确答案,更像是“反刍”而非真懂 [25] 创业公司AMI的创立与目标 - 决定在Meta外部创办Advanced Machine Intelligence,专注于“世界模型”并计划延续开放研究的传统 [4][5] - 创办AMI的动因之一是为了摆脱硅谷的单一文化,该公司是全球性的,总部将设在巴黎,并在纽约等地设立办公室 [30] - AMI的目标不仅是研究,还会打造与世界模型、规划相关的实际产品,并成为智能系统的核心供应商 [9] - 认为投资者现在愿意为这类基础研究创业公司买单是一种新现象,这在以往是不可能的 [4] 对AI行业现状与Meta的评论 - 指出行业风向正在转变,越来越多实验室选择闭源,这种趋势不利于真正突破性的研究 [4] - 透露Meta AI重组后重心完全放在了LLM,FAIR正被推向“更短期的项目”,较少强调发表论文,更多专注于协助GenAI Lab进行LLM研究,这是其选择出来创业的部分原因 [39][41] - 认为即使在硅谷的各家公司内部,也有不少人心里很清楚LLM这条路走不通 [28] - 点评了一些大模型公司,例如指出Ilya创立的SSI甚至包括他们的投资人都不知道这家公司要做什么 [41] 对AGI概念与发展时间线的看法 - 认为“通用人工智能”这个概念完全没有意义,完全是胡扯,因为人类智能是超级专业化的 [31] - 乐观预测如果在JEPA、世界模型、规划等方向未来两年取得重大进展,可能在5-10年内看到接近人类或狗智能水平的AI,但这已是极度乐观 [33] - 更现实的预测是,由于历史上多次出现未预见的障碍,实现超越可能需要20年甚至更久 [33] - 认为最难的部分不是从狗到人类,而是达到狗的水平,从灵长类动物到人类主要缺的是“语言” [35][36] 对研究文化与人才培养的建议 - 强调真正的研究需要发表论文,没有别的办法,这是目前很多行业正在遗忘的事情 [11] - 建议年轻人学习“保质期长”的知识以及能“学会如何学习”的东西,因为技术演变太快 [43] - 具体建议深入学习数学、电气工程、机械工程、物理学等基础学科,计算机科学只需学到能熟练编程的程度,这些基础能让人在AI快速变化中站稳脚跟 [45][46] - 认为“世界模型”所在的地方类似于大脑的前额叶皮层,而LLM在语言编码/解码上表现不错,或许能充当大脑的韦尼克区和布罗卡区 [36][38]
Insurers and AI, a systemic risk
Freakonometrics· 2025-11-25 13:00
行业动态:保险公司调整AI相关保险策略 - 多家主要保险公司(AIG、Great American、WR Berkley)正寻求在保险条款中引入对人工智能风险的明确除外责任,特别是涉及智能体和语言模型的使用[1] - 调整策略的直接原因是与AI相关的潜在损失可能达到数亿美元甚至更高[1] - 行业担忧的核心并非单个索赔的严重性,而在于可能出现的相互关联、大规模且同时发生的损失,这种损失无法通过共担机制分散[1] - 行业无法承受的是AI提供商的一个错误导致1000或10000次损失同时发生的情况[2] 系统性风险特征 - 系统性风险的脆弱性并非由机构的绝对规模决定,而是由其互连结构决定,金融系统呈现出“稳健却脆弱”的动态特性[3] - 系统可能对大多数冲击表现出稳健性,但一旦问题发生,影响可能是灾难性的[4] - 初始错误一旦触及网络的“脆弱集群”,局部错误就可能演变为全球性灾难,网络互连程度越高,错误传播速度越快[4] - 连接性或资本化的微小变化可能使整个系统从稳定状态转变为临界状态,发生真正的“相变”[4] AI系统的传染性风险机制 - 生成式AI具备高度传染性系统的所有特征,当AI提供商部署有缺陷的更新、在模型参数中引入错误或遭受网络安全漏洞时,受影响的不是孤立用户,而是依赖同一基础设施的数千用户[5] - 每个客户不仅依赖于自身的使用,还依赖于全局模型的完整性,即使是最小的修改也会在所有用户中瞬间复制相同的行为[5] - 这种传播不是缓慢或渐进的,而是即时、同步和同质的,这正是保险公司现在恐惧的快速同步传染[5] 保险可保性的根本挑战 - 保险可保性历史上依赖于一个基本条件:大数法则,风险事件必须是独立的或充分异质的,以便损失在统计上能够相互抵消[6] - 网络风险已经不符合这一条件,网络损失高度相互关联,并具有严重的信息不对称特征[7] - 生成式AI强化了这种结构,创造了一个错误不仅频繁而且可能完全相同且同时发生的环境[7] - 当损失变得相关时,共担机制就会机械性地崩溃,保险设计上无法吸收那些结构上倾向于聚合的风险[8] 复杂系统与不可避免的故障 - 在复杂系统中,故障不是异常,而是不可避免的,意外源于交互,小错误在通过紧密耦合的网络传播时会放大[9] - 在恶劣环境中,错误信号是模糊的,交互是复杂的,系统变得容易受到意外事件的影响[10] - 生成式AI模型完全符合这种描述:结构不透明、行为非确定性、依赖少数全球提供商以及使用之间缺乏分离,创造了一个局部故障会变成系统性的系统[10] AI对保险业系统性风险的重新定义 - 传统上,由于互联性远低于银行业,保险业被认为不易受系统性风险影响,但这一假设依赖于一个隐藏前提:被保险的风险本身必须保持独立[11] - 随着AI的出现,这一前提崩溃了,首次出现了一种被保险的风险(网络风险、错误与遗漏、软件相关损害)在结构上相互关联[11] - 单个提供商、单个模型、单个更新或单个漏洞可能引发数千次同时发生的损失,互联性不再是保险市场的属性,而是风险本身的属性[11] - AI引入了一种聚合的、相关的、不可分散的风险形式,它不再是一种波动性风险,而是一种结构上同步的风险[12] AI驱动系统性风险的具体场景 - 设想一个在金融部门广泛使用的大型语言模型发生故障更新:一个部署在两千家银行的模型同时误解一项监管规则,后果(不合规、制裁、诉讼、客户撤资、集体诉讼)将是即时且完全同步的[13] - 自主法律代理可能产生系统性幻觉,生成虚假的法律引文或有缺陷的推理,如果在数百家公司部署,该错误将立即成为集体性错误[13] - 当模型产生看似合理但不透明的信号时,人类和机器都倾向于赋予其过度意义,微弱的信号可能被误解为真实的行为转变,而这可能仅仅是统计假象、数据集偏差或潜在漂移[14] - 这些误解可能创造反馈循环,将噪声变成真实冲击:紧急决策、定价变更、对依赖模型的调整,这被描述为自我实现的预言[15] 特斯拉案例研究 - 特斯拉案例揭示了关键功能极度集中的组织,任何事件都可能全系统传播,单个管理员拥有全局访问权限,数千名员工拥有提升的特权,尽管存在大规模数据提取,但举报人描述缺乏监控[16] - 数据流扩展到包括客户、商业伙伴以及与特斯拉有联系的广泛个人和公司,特斯拉不仅聚合自身数据,还聚合来自客户、合作伙伴、政府、分包商和监管机构的数据,创造了与2008年前金融网络极其相似的依赖结构[17] - 当整个车队依赖一个同时更新的单一软件模型时,一个缺陷可能产生大规模的相关冲击,这正是保险公司现在对生成式AI系统恐惧的场景[18] - 特斯拉作为一个具体例子,展示了软件同质性创造了如此大的聚合风险,以至于单个错误可能成为一个“大的系统性事件”[19] AI责任与法律风险 - “AI责任”问题是当今探索最少且最具爆炸性的问题之一,实践中无人知晓如果出现问题谁应负责[20] - AI提供商的合同包括严格的责任限制、性能保证排除以及将几乎所有风险转移给用户的条款,由于需求几乎无弹性,提供商可以单方面强加其条款,造成显著的合同不对称[20] - 在受监管的行业,公司被要求控制其模型,但使用的模型是不透明、外部且未经审计的,这造成了深刻的矛盾:公司对其没有实质控制权的工具承担法律责任[21][22] - 这种情况造成了三重缺口:监管缺口、合同缺口和保险缺口,结果是产生了一种法律系统性风险,其特征是责任分散、依赖集中以及风险分配极度低效[23]
Ice Cold, Zen-Like Investing With Alex King
Seeking Alpha· 2025-10-27 04:00
市场情绪与投资策略 - 在波动和混乱的市场中保持冷静至关重要 专注于价格、成交量和基本面分析 避免被政治和社交媒体噪音干扰 [4][5][6] - 当前市场由标普500指数中的七大龙头股(Mag-7)主导 但需关注其余493只股票的表现 [6] - 投资分析应基于价格行为本身 而非市场叙事 价格上涨则跟随 下跌则警惕 [15][16] 人工智能行业 - 人工智能需求周期仍处于早期阶段 大型企业已开始采用AI 但在实际应用案例和经济效益方面仍面临挑战 [7][8] - 大型语言模型在实际任务中仍存在局限性 例如无法可靠地完成从新闻稿和SEC报告中提取数据并编译标准电子表格等相对简单的任务 [10][11] - 技术周期通常经历兴奋期、幻灭期和现实追赶期 AI周期预计也将遵循类似模式 可能很快进入幻灭期 导致估值倍数下降 [12][13][14] - 未来AI成本模型可能通过改变LLM设计或采用更高效的硅晶片和软件(如Arm的低功耗设计)发生变革 带来10倍的功耗和计算需求降低 [20][25][26] 量子计算领域 - 量子计算股票近期经历大幅上涨和回调 主要由零售投资者热情和动量驱动 而非基本面支撑 [29][30] - 量子优势的实现可能仍需10到20年 当前小型供应商(如IonQ、Rigetti、D-Wave)能否成为行业领导者尚不确定 [30][31] - 尽管美国政府投资可能提供支撑 但股价已远高于基本面 投资风险较高 [32][33] 特斯拉公司 - 特斯拉股价主要受到其与xAI合并预期的驱动 而非汽车业务的基本面 合并将为市场提供一个纯玩LLM业务的投资标的 [34][35][36] - 特斯拉汽车业务面临领导力下滑、联邦税收抵免政策变化等挑战 其股价无法基于汽车或能源业务的基本面进行估值 [34][38] - 特斯拉股东投资的是埃隆·马斯克的“彩票” 公司治理结构(如CEO薪酬方案)旨在激励股价上涨 [40][41][42] 黄金市场 - 黄金近期上涨被视为恐惧驱动的购买行为 是对全球秩序变化的反应 而非基于通胀数据 当前通胀更可能是在降温而非上升 [44][45][46] - 黄金价格的大幅上涨可能已过度 特别是在出现零售投资者排队购买实物黄金等市场过热迹象时 [43][44] - 黄金期货和ETF在高位的成交量很小 表明缺乏大型机构投资者的买入 主要是零售和动量交易者在推动 这通常不是持续上涨的信号 [49][50] 半导体行业 - 半导体ETF(SOXX)从4月7日的148低点大幅上涨至10月23日的291点 涨幅显著 需警惕板块是否将成为资金流出源 转向其他表现落后的板块(如企业软件) [55][56][57][58] - SOXX在292水平面临强劲阻力 多次尝试突破未果 表明该水平缺乏大额买家 可能预示板块即将转向 [59][60] - 使用移动平均线作为“绊网”指标 例如8日简单移动平均线或21日指数移动平均线被跌破 可能发出谨慎信号 提示减少敞口或对冲风险 [62][63][64] - 英特尔公司正成为美国半导体制造业回流政策的载体 获得政府投资和支持 但其基本面仍然疲弱(增长停滞、现金流不佳、资产负债表紧张) 股价上涨更多基于政策预期而非业务改善 [65][66][69] 加密货币领域 - 加密货币被视为高贝塔投资品 在牛市中表现强劲 但在熊市中可能大幅下跌 2022年的市场崩溃就是例证 [74][75] - 通过大型资产管理公司(如贝莱德)的ETF(如IBIT、ETHA)投资比特币和以太坊被认为是更安全的方式 避免了原生加密货币交易所的系统性风险和监管缺失 [73][74][83][85] - 比特币和以太坊等主流加密货币被认为风险回报比优于低阶代币 后者在近期市场事件中因交易所基础设施不成熟和过度杠杆化导致严重损失 [76][77][78][84]
AI芯片,大泡沫?
半导体行业观察· 2025-10-21 08:51
当前市场估值与互联网泡沫对比 - 当前纳斯达克综合指数市盈率为33倍,远低于互联网泡沫时期200倍的峰值 [6] - 主要科技公司(亚马逊、苹果、谷歌、微软、Meta、台积电)市盈率在27-39倍之间,英伟达市盈率为52倍,AMD市盈率高达97倍,特斯拉市盈率为265倍 [6] - 与互联网泡沫时期Webvan等无盈利、无增长的公司不同,当前AI领域公司拥有强劲的营收、盈利和增长前景 [3][5] 生成式AI的采用速度与市场规模 - ChatGPT仅用2个月达到1亿用户,远超TikTok(1年)、WhatsApp(3年)、Facebook(4.5年)等产品的用户增长速度 [6] - 美国成年人中有60%在过去6个月内使用过AI,20%的人每天依赖AI,已形成一个价值120亿美元的消费级AI市场 [11] - 麦肯锡预测到2030年AI数据中心投资将达到5万亿美元 [6] 主要参与者的财务表现与增长预期 - OpenAI在2024年上半年营收飙升至43亿美元,预计2030年营收高达2000亿美元,相当于苹果目前营收的一半 [7] - Anthropic年化运行率收入从2024年初的10亿美元/年增长到8月份的50亿美元/年 [7] - 摩根士丹利预计微软AI收入在2025财年至少为120亿美元,2029财年至少为850亿美元 [8] - 谷歌处理的AI代币数量从2024年4月的10万亿个增长到6月25日的980万亿个,每两个月翻一番 [7] 企业市场的应用与效率提升 - AI在企业中的应用能显著提升效率,例如微软的Discovery Agentic AI可在几小时内解决复杂的热机械分析问题,而人类使用EDA工具需要数月 [14] - 沃尔玛利用AI提升生产力,预计每年可节省约50亿美元薪资支出 [14][15] - 多家公司宣布因AI提升效率而停止招聘,包括Salesforce停止招聘软件工程师,亚马逊表示将需要更少人手完成现有工作 [14] 技术成本下降与硬件发展 - AI推理价格在两年内下降了100多倍,使得从一次性模型转向需要更大计算能力的推理和代理AI成为可能 [8][10] - AI加速器市场规模正增长至每年5亿美元以上,英伟达和AMD已成为台积电前十大客户 [27] - 主要GenAI公司正开发专有XPU AI加速器,以更低的功耗和成本运行工作负载,摩根士丹利估计约15%-20%的先进封装产能用于专有XPU [20] 行业竞争格局与潜在赢家 - 训练前沿模型的成本高达数十亿美元,参与者将仅限于拥有超大规模资源的企业 [16] - 主要GenAI参与者(如OpenAI、Anthropic、AWS、谷歌、微软)正进行垂直整合,涵盖模型、生态系统、数据中心和专有XPU [26][28][29] - 到2030年,行业可能形成分层格局:第一层为3-6家前沿领导者,第二层为云和集成商,第三层为区域参与者,第四层为利基专家 [30][31] - 像Oracle和Coreweave这类没有自有LLM、生态系统或广泛客户群的公司最为脆弱 [30]
Tool-Integrated RL 会是 Agents 应用突破 「基模能力限制」 的关键吗?
机器之心· 2025-09-21 09:30
1 Tool-Integrated RL 与 Agents 应用突破 - Agent的定义从被动的生成式内容工具演变为主动的、以目标为导向的自主智能体,更强的智能体必须具备与外部世界交互并采取行动的能力[8] - 业界将AI系统划分为LLM、AI Assistant和AI Agent,或通过GenAI、AI Agent、Agentic AI进行分类,Agentic AI是一个包含各司其职AI Agent的自主系统[9] - 提高智能体推理能力分为“求诸内”和“求诸外”两种方式,“求诸外”即让LLM学会使用工具以突破Scaling Law带来的能力极限[10][11] - 工具集成推理将工具使用从简单调用提升到与推理过程深度融合,其价值在于打破传统LLM能力天花板,实现经验支持集扩展和可行支持集扩展[12][13][14][15] 2 Copilots 与 AI 产业落地模式 - 除了通用模型公司,垂直领域AI在融资方面也非常活跃,专注于医疗、金融、法律和客服等专业领域的AI初创公司获得从几百万到上亿美元融资[2] - AI公司发展路径引发思考,是否需要用“裁人头”换取“agent员工”作为唯一解决方案,以及Copilots和AI-enabled Services模式能否带来突破[2] 3 生成式 AI 对软件开发的重塑 - 生成式AI可能让设计师、市场人员等非专业开发者也能写出可运行代码,推动软件开发从“装应用”时代向“按需生成”时代转变[3] - AI与搜索的组合可能彻底重构软件的发现和使用方式,同时AI代码生成需要在高速性和高可靠性之间做出权衡[3] 4 行业动态与通讯概览 - 本期通讯包含3项专题解读以及30项本周AI与Robotics赛道要事速递,其中技术方面11项、国内方面6项、国外方面13项[4] - 通讯总计28355字,可免费试读至7%,消耗288微信豆可兑换完整内容[5]
急招+快速面试|理想汽车AI应用高级产品经理
理想TOP2· 2025-09-16 23:04
公司AI产品战略方向 - 专注于LLM和AIGC技术在座舱、手机等多终端C端AI应用开发 负责交互方案规划与落地实施[3] - 要求产品经理具备海外AI市场研究能力 通过竞品分析和用户反馈实现创新性产品设计 追求行业领先体验[3] - 需主导AI应用从0到1再到N的全生命周期管理 包括需求分析、设计开发测试及上线全流程[2][3] 团队与资源支持 - 团队氛围开放坦诚 鼓励快速行动与创新 所有想法均可获得直接市场反馈验证[2] - 提供充分自主权 允许产品经理全程主导从构思到落地的完整产品实现过程[2] - 领导者具备10年AI行业经验 倾向建立产品技术深度交流与共同解决难题的伙伴关系[2] 人才能力要求 - 需具备3年以上AI产品应用经验 拥有万级DAU场景的C端大模型实战经验及闭环落地能力[4] - 要求优秀的数据分析和逻辑思维能力 对用户核心需求有敏感洞察和深刻理解[6] - 需具备主导复杂项目的推动能力 能全局性统筹协调复杂业务并系统性解决问题[5][7][8] 行业技术聚焦 - 明确要求熟悉主流AI对话产品 深入理解LLM和AIGC核心能力 并对AI行业发展有深度认知[3] - 强调需主动洞察行业前沿变化 具备协调资源跟进AI技术演进的能力和手段[7]
大模型,为何搞不定软件开发?根本原因就在…
程序员的那些事· 2025-09-08 08:57
文章核心观点 - 大语言模型在软件开发中存在根本性局限 无法维持清晰的思维模型 导致无法处理复杂软件开发任务[5][8][9][14] - 人类工程师通过构建和验证思维模型来迭代开发 而LLM缺乏这种能力 常陷入无限混乱或推倒重来[7][9][14] - 尽管LLM在代码生成和简单任务上表现良好 但在复杂项目中无法维持足够上下文来迭代可行方案[15][16] - 未来人机协作是趋势 但目前LLM只能作为辅助工具 主导权仍需人类工程师掌握[17] 软件开发中的人类优势 - 资深工程师通过四步循环开展工作:构建需求模型 编写实现代码 建立代码行为认知 找出差异并修正[7][10] - 人类能实时验证工作成果 测试失败时能对照思维模型决定修正方向或收集更多数据[9] - 人类具备上下文切换能力 既能纵览全局忽略细节 又能深入局部攻坚 且不会无限制扩展思维缓存区[12] - 人类开发者即使遗漏逻辑细节 也属于局部失误而非根本性误判 且能通过讨论理解需求痛点[22] LLM的技术局限 - LLM无法同时维护两个相似思维模型 无法识别差异 更无法判断该修改代码还是需求[14] - 存在三大硬伤:语境盲区(对缺失上下文束手无策) 近因偏见(过度关注最近信息) 幻觉频发(虚构不存在内容)[13][20] - 测试失败时往往暴露系统底层逻辑的根本性缺陷 但LLM只能通过"打补丁"方式让测试通过 抓不住关键点[22] - 缺乏对系统运作方式的完整认知 表面代码工整但未抓住需求精髓 光靠堆算力难以解决[22] 发展前景与应用价值 - LLM对工程师有价值 能快速生成代码 擅长梳理需求文档 对明确简单任务能一气呵成[15] - 进化速度惊人:2022年ChatGPT水平只有现在的十分之一 按此速度五年后可能搞定软件开发[21] - 体验糟糕却被持续使用的技术往往创造不可替代价值 骂声越响迭代越快[19][21] - 未来人机协作开发是大势所趋 但现阶段方向盘必须握在人类手中[17]
LLM 上线一天市值破千万美元,疑似创始人地址浮盈超 56 万美元
新浪财经· 2025-08-24 21:28
文章核心观点 - 被社区推测为项目创始人的地址在LLM代币早期投入少量资金并获得极高回报,目前仍持有绝大部分头寸 [1] - LLM代币在极短时间内获得显著市场关注,市值迅速达到1000万美元 [1] 关键地址持仓与交易分析 - 关键地址7FWR2N…f1oKPu持有5290万枚LLM,当前浮动盈利超过56万美元,投资回报率高达50500% [1] - 该地址在8月23日花费1215.19美元以均价0.000019986美元买入LLM总供应量的6.08% [1] - 该地址以均价0.000056655美元出售了一小部分代币,其余全部持有至今 [1] LLM代币市场表现 - LLM代币在诞生一天内市值达到1000万美元 [1]
AI开始失控了吗?100名科学家联手发布全球首个AI安全共识
36氪· 2025-05-13 17:55
行业倡议背景 - 超过100名全球科学家在新加坡集会,就如何使人工智能更加“值得信赖、可靠和安全”提出指导方针 [1] - 此次倡议与国际表征学习大会同期进行,是亚洲首次举办大型AI会议 [1] - 参与起草的机构包括MILA、加州大学伯克利分校、生命未来研究所、麻省理工学院、谷歌DeepMind、微软、清华大学等 [1] AI发展透明度问题 - 当前生成式AI领域的巨头(如OpenAI和谷歌)对其AI模型的信息披露越来越少,导致公众对其工作原理了解有限 [1] - 有观点指出,在AI发展方面,公民对于谁来塑造AI的发展轨迹缺乏话语权 [2] 研究重点框架 - 指导方针文件《关于全球AI安全研究重点的新加坡共识》列出了三个核心研究类别:识别风险、构建安全AI系统、保持对AI系统的控制 [4] 风险识别与评估 - 建议开发“计量学”以衡量潜在危害,并进行针对AI系统的定量风险评估以减少不确定性 [4] - 有必要让外部各方在保护企业知识产权的同时,对AI研发进行风险监测 [4] - 需要开发安全的基础设施,在保护知识产权(如防止模型被盗)的同时进行全面评估 [4] 构建可信赖的AI系统 - 需要通过设计使AI值得信赖,开发能指定AI程序意图并避免不良副作用的技术方法 [5] - 神经网络的训练方式需保证最终AI程序满足其规格,包括侧重于减少“幻觉”和提高对恶意提示破解的鲁棒性 [5] 系统控制与安全 - 需要扩展常规计算机安全措施(如关闭开关和优先控制协议)以处理AI程序 [7] - 必须设计新技术,用以控制那些可能会主动破坏控制企图的强大AI系统 [7] - 有科学家担忧高性能AI系统演变成自主代理后,会表现出与人类利益不一致的目标,并已观察到自我保护和欺骗行为 [7] 研究投入的紧迫性 - 当前关于AI安全的研究投入需要加快,以跟上由商业驱动的系统能力增长步伐 [7] - 动机在于当AI事件发生或恶意行为者利用AI时,产生的危害会对所有人造成损害 [4]