自 Anthropic 推出 Claude Computer Use，打响电脑智能体（Computer Use Agent）的第一枪后，OpenAI 也相继推出 Operator，用强化学习（RL） 算法把电脑智能体的能力推向新高，引发全球范围广泛关注。 业界普遍认为，需要海量的轨迹数据或复杂的强化学习才能实现电脑智能体的水平突破——这可能意味着大量的人工轨迹标注，以及大规模虚拟机环境的构 建，以支撑智能体的学习与优化。 然而，来自上海交通大学和 SII 的最新研究却给出了一个非共识答案： 仅需 312 条人类标注轨迹 ，使用 Claude 3.7 Sonnet 合成更丰富的动作决策，就 能激发模型 241% 的性能，甚至 超越 Claude 3.7 Sonnet extended thinking 模式 ，成为 Windows 系统上开源电脑智能体的 新一代 SOTA 。 312 条轨迹在不同软件上的分布 思维链补全：让「动作」有「思考」的支撑 这一发现传递出一个关键信号： 当前大模型已经具备了使用电脑完成任务的基础能力，其性能瓶颈主要在于长程推理（long-horizon planning）能力的激 发， ...

核心观点 - Multi agent系统成为新突破方向，agent infra成为落地关键，E2B是该领域新兴参与者[3] - E2B提供安全隔离沙盒环境，支持AI生成代码运行，月创建量一年内从4万增长到1500万，增长375倍[3][10] - E2B愿景是成为AI Agent时代的AWS，提供从开发到部署的完整生命周期支持[4][13] E2B概述 - 成立于2023年，创始人为Vasek Mlejnsky和Tomas Valenta，前身为DevBook项目[7] - 核心产品是快速启动(~150毫秒)的microVM，支持Python和JavaScript，分别有50万和25万次月SDK下载量[11] - 从代码解释器转型为更通用的LLM/agent运行时环境，2024年实现快速增长[10] 技术架构 - 底层类似AWS Firecracker的MicroVM技术[3] - 已实现持久化(persistence)功能，支持沙盒暂停和恢复[17] - 计划推出分叉(forking)和检查点(checkpointing)功能，支持多agent并行探索[15] - 提供专用code interpreter SDK，预包装常用数据分析包[18] 应用场景 - 主要场景1：AI数据分析支持，支持创建图表、安装第三方库、错误修复闭环[18] - 主要场景2：AI生成应用运行平台，提供Fragments开源模板[20] - 新兴场景：模型训练，如Hugging Face用于强化学习和代码生成训练[23][26] - 探索场景：computer use agent，推出Desktop Sandbox和open-computer-use项目[32] 行业趋势 - Agent应用场景从coding、sales、customer support扩展到computer use[31] - 传统云计算为静态应用设计，agent需要动态生成代码的全新解决方案[13] - 开发者工具粘性关键在于无缝融入工作流，保持LLM中立性[27][28] - 定价模式面临挑战，需平衡简单性和资源消耗计量[30] 技术挑战 - computer use agent面临安全性、点击操作、推理能力等五大挑战[40] - 视觉界面操作替代API访问带来新的技术难题[44][55] - 小众LLM部署和实时画面流传输需要特殊解决方案[49][50] - 权限管理和敏感信息处理成为关键安全问题[56][58] 公司发展 - 选择扎根硅谷，因用户集中且人才密度高[62][64] - 早期采用定期驻点方式，后转为常驻以提升效率[62] - 创始团队强调面对面协作对初创期的重要性[64]

Agent定义与核心特征 - Agent是基于环境反馈使用工具的程序 采用Anthropic的定义[2] - 核心三要素包括状态(Context)、行动(Tool Use)、激励信号(RL反馈机制)[32][33] - 与RL强关联 需理解强化学习才能设计优质Agent产品[31] Agent技术演进 - 2023年4月AutoGPT为代表的早期Agent更像玩具 实际应用价值有限[4] - 当前Agent已能在工作生活场景中真正解决问题 实现价值跃迁[5] - 进步源于：1)底层模型能力提升(如RL结合、长思维) 2)工程产品突破(Context构建)[6][7] Context工程创新 - Context是大模型执行任务所需信息总和 不同产品Context构成不同[8] - 相比传统RAG Agent能自动化提炼Context 减少人工干预[10][11] - 优质Context需包含用户历史行为路径 如APP打开瞬间即提供海量意图线索[48][49] Tool Use技术方案 - Function Call/MCP/A2A属于代码驱动派 Computer Use/Browser Use属于视觉模拟派[13] - MCP核心价值在于统一Tool Use标准 降低工具调用门槛[12] - Browser Use存在纯视觉方案(如已倒闭的Adept)和API包装方案 后者更成熟稳定[15] 产品设计方法论 - Chat是最佳交互入口 保障用户自由度优于追求准确度[41] - 需解决双重信任问题：开发者信任模型能力 用户信任执行过程[52][54] - 垂直领域Agent将长期主导 通用Agent面临收敛困难[25][46] 行业竞争格局 - 当前Agent可分为：1)Coding Agent(交付代码) 2)调研Agent(交付报告) 3)表格Agent(定量分析)[61][64] - Sheet0实现100%准确率 核心在于模块化工具复用与AI Coding验证[57][67] - AI Coding与Agent存在协同效应 但直接编码执行任务成本过高[29][30] 发展关键变量 - 模型能力突破与Context工程进步是两大核心驱动因素[69][70] - 需构建完整评估体系(激励信号) 确保系统可收敛[35][71] - 产品需平衡通用性与准确性 不同场景选择不同技术路径[59][60]

AI Agent 技术发展 - 2025年AI agent在信息获取方式和工作流上发生重大变化，从单次搜索决策模式转变为完全自主的Deep Research模式，能同时打开多个网页并重新评估立场 [2] - Agent可调用工具数量将在几个月内从10个量级扩展到100个量级，模型将自主判断工具调用路径 [2][8] - Multi-agent系统通过任务分拆提升效率，每个agent专注特定子任务，使调试更独立且风险更低 [3][17] 技术突破与创新 - Chain of Thought与tool use结合使agent能在推理中自主调整工具调用方向，摆脱固定工作流限制 [8][29] - Computer Use处于早期阶段，虚拟机(VM)技术将成为创业机会，可能出现针对iOS等操作系统的专用VM公司 [5][12][25] - 评估微调飞轮成为关键，开发者需构建领域特定评估器验证模型输出的数学正确性和权威性 [4][9] 行业应用与生态 - Vertical agent将直接受益于multi-agent系统，在客户服务等领域形成专业化分工架构 [3][8] - 医疗和法律行业尝试用computer use自动化传统手工操作，如跨应用切换和Google Maps街景分析 [10][12] - BrowserBase和Scrapybara等公司构建computer use基础设施，提供浏览器自动化和远程桌面托管服务 [12] 开发者工具与API演进 - OpenAI推出阶梯式API设计，基础调用仅需4行代码，同时支持50+可配置参数满足高阶需求 [17][19] - Assistants API的tool use功能获市场认可，但使用门槛过高，新版将融合Chat Completions API的易用性 [20] - Responses API支持多轮交互和多重输出，与MCP生态形成互补，强化工具集成能力 [20][21] 未来趋势与挑战 - Agent将深度融入日常产品，如浏览器集成和自动化重复任务，实现"无处不在"的交互 [6][15] - 模型运行时间需从分钟级扩展到小时级以处理复杂任务，算力提升是关键突破点 [8][29] - 科学研究和机器人技术是被低估的应用领域，O系列模型可能加速科研进程 [30][31] 企业实践建议 - 建议企业优先构建内部multi-agent系统解决实际问题，为未来对接公共互联网做准备 [8][28] - AI初创公司应聚焦工作流编排，通过强化微调和CoT工具调用释放模型潜力 [29][32] - 基础设施领域存在垂直机会，如Runloop AI提供测试虚拟机，AIOps公司管理prompt和API计费 [21][23]