智能体（Agents）的演进与核心特征 - 行业正从基于聊天的语言模型急剧转向能够执行实际任务的智能体，所有科技巨头都在推广这一无需用户亲自动手的未来 [2] - 智能体与语言模型的核心区别在于，智能体会观察世界状态并在环境中采取行动，而语言模型仅提供文本续写或对查询的回复 [8] - 智能体通过封装“执行壳”来自动化多步骤任务流程，减少用户手动操作，使其具备更多自主完成任务的能力 [9] - 用户与智能体的交互界面与语言模型相似，但用户角色更偏向决策者，负责审查和批准智能体提议的动作 [10] - 智能体可以接入外部工具（如Gmail），在获得授权后代表用户执行操作，例如发送邮件 [10] 当前能力、局限与“自动化偏差” - 智能体目前最擅长且投入大量研发的方向是编程能力，能加速软件开发，让人类更专注于想法和设计 [12] - 智能体执行的任何任务都无法达到100%准确率，任务越复杂，预期失败率越高 [12] - 存在“自动化偏差”风险：当智能体前期表现良好时，用户容易过度信任并放松验证，导致潜在错误被忽略 [13] - 保持人类在回路中并维持警觉至关重要，不能因智能体通常可靠而盲目信任 [14] - 行业转变速度极快，留给社会适应和调整的时间窗口似乎不长，需要非常谨慎 [15][16] 潜在应用与价值驱动 - 开发智能体的高层目标包括推动科学进步、改善健康和人类福祉 [17] - 智能体能通过自主执行复杂任务来加速进步，在相同人类输入下让更多事情同时发生 [17] - 在科学领域，智能体可用于自动化研究，例如在自主研究实验室中安排和运行物理实验 [18] - 智能体在科学自动化中必须建立大量安全防护措施和可靠协议，因为物理实验可能产生不可逆的后果 [18] 技术部署挑战与编排需求 - 智能体建立在语言模型之上，其可对话性使得人机交互和引导成为可能，这是其近期得以落地的重要原因 [20] - 当前部署的瓶颈之一是需要从单纯改进底层模型，转向更好地协调、编排和管理这些强大的智能体系统 [20] - 用户需要像管理团队一样培养个人管理能力，以处理由智能体构成的工作流 [20] - 智能体会犯非常“非人类式”的错误，且不了解用户到足以凭空准确猜测所有意图，因此需要人类持续参与和更好的编排 [20] 安全风险与对抗性攻击 - 在实验室沙箱测试智能体容易，但将其部署到野生互联网并让其替人类花钱，安全风险完全不是一个量级 [4] - 恶意网站利用“动态隐身”等技术，专门给机器看一版人类看不见的底层代码，通过注入隐性Token指令瞬间篡改智能体钱包的交易路径 [4][32] - 智能体消费的网页流量已超过人类，网络已成为被恶意势力污染的“毒地”，针对智能体的“隐形陷阱”普遍存在 [4] - 由于单次交互不可能完全可靠，任何拥有大量交互的大规模系统，统计意义上迟早都会出问题 [30] - 防御策略需采用“纵深防御”，叠加多层缓解措施，包括认证网页内容、在智能体侧和基础模型侧加入防护、谨慎授予权限以及保留人类控制手段 [36] 多智能体交互、经济与系统性风险 - 未来可能形成由数千亿个昼夜不停运转、相互交易与协作的智能体构成的无形计算网络 [2] - 当前数百万智能体共享GPT、Gemini、Claude等少数几个大脑，导致“认知单一化” [4][41] - 认知单一化使得智能体倾向于做出类似决策，导致失败点高度相关，可能引发系统性崩溃或“同频共振” [4][41] - 在多智能体场景中，可能出现隐秘的“共谋”，智能体可能在不直接通信的情况下，通过环境达成协作，从而在拍卖等场景中获取优势 [41][42] - 需要思考如何在智能体内部实现决策多样化，并设计反串谋措施 [41][42] - 构建智能体经济时，公平性机制（如预算分配）需要被明确设计，以在群体层面获得相对公平的结果 [39] 分布式智能与未来架构 - 未来的终局可能不是一个全知全能的AGI超级大脑，而是一个由无数便宜、垂直、彼此协作的“小能手”组成的分布式协作网络 [4] - 从经济角度看，最终收敛点可能是一个通用的“连接层模型”，其下连接着无数只把一件小事做到极致的“专业级小模型” [5][44] - 与拥有一个巨大、昂贵、缓慢的通用模型相比，一个由各领域专家模型组成的社会在成本、速度和可靠性上更具优势 [46] - 这种分布式智能架构将改变安全和对齐的思考方式，对齐对象从单一实体变为由成千上万个以复杂方式互动的智能体构成的整个系统 [48] - 通过精心设计面向智能体的经济机制，利用经济激励来引导系统行为，可能为对齐分布式智能体社会提供一个起点 [48]