Inside OpenAI's plan to make ChatGPT the way you use your computer
Business Insider·2026-08-20 17:00

核心观点 OpenAI正接近实现其自2015年成立以来的长期目标,即构建能像人类一样熟练使用计算机和浏览器的AI代理,并已开始向客户推出Computer Use工具,这标志着AI自动化计算机任务能力的一个关键转折点[1][2][3] 技术进展与产品发布 - OpenAI在2025年推出了Chrome扩展程序,让ChatGPT接管浏览器,并创建了云端和应用内浏览器,同时将Computer Use功能集成到Codex编码工具中[2] - OpenAI总裁Greg Brockman表示,2025年4月的更新使公司技术“不再仅适用于编码人员,而是适用于任何从事计算机工作的人”[2] - 截至2025年5月,至少有60万组织尝试了竞争对手Anthropic的Claude Cowork功能,该功能于2024年率先推向市场[2] - OpenAI声称其技术能力已迎头赶上,正在其旗舰产品ChatGPT中填充自动化计算机任务的功能[3] 训练与构建方法 - OpenAI在模型训练的每个阶段都包含了改进Computer Use能力的数据或流程,哥伦比亚大学AI研究员Zhou Yu指出这种额外训练建立在标准AI模型能力之上,教会其处理更多任务[4] - 在早期阶段,OpenAI可能包含了逐帧截图数据,以“预先加载”对Computer Use有用的信息[5] - 在后续步骤中,开发者提供数据展示产生特定输出的理想输入,例如填写税表或3D建模对象所需的计算机功能[5] - OpenAI使用了人类演示如何完成任务的数据集进行训练,Zhou Yu表示这类数据昂贵且难以获取和清理[6] - OpenAI通过强化学习改进模型,命令模型尝试完成虚拟任务并奖励成功行为,使模型“学会做更多获得奖励的动作”[7] 技术升级与交互方式 - OpenAI升级了模型与计算机交互及处理数据的方式,ChatGPT现在能快速读取网页的内存结构、可访问性信息和链接连接,而不仅仅是截图分析像素[8] - 该工具仍会截图,用户需在设置时允许ChatGPT录制屏幕,以便快速分析屏幕内容[9] - 混合工具帮助OpenAI的Codex以“完整循环”方式测试代码、发现错误并进行改进[9] 用户案例 - 捷克共和国业余编码员Cristian Medina Ruiz使用Codex从原始源代码重建2013年城市建造游戏“SimCity”,Computer Use工具打开窗口验证游戏是否正确模拟汽车运动和建筑图像[10] - Ruiz表示Computer Use让他全心投入ChatGPT,现在他离开电脑时也会让代码运行和迭代[10][11] 应用场景与愿景 - OpenAI希望ChatGPT连接互联网的“长尾”网站,包括预约网站、公司内部库存仪表板和社交媒体平台[12][13] - 用户正在使用Computer Use自动化数据录入、合规任务和日历安排[13] - OpenAI模型改进后,能更好地发现并纠正错误,避免陷入网络“兔子洞”[13] - 哥伦比亚大学研究员Zhou Yu指出当前技术速度与消费者期望之间存在“差距”,在有限领域表现良好,但泛化到任何网页、应用或操作系统仍很困难[14] - Computer Use目前无法处理电子邮件回复,滚动社交媒体信息流时存在延迟[14] - OpenAI员工希望随着模型改进,Computer Use能变得足够快,使在线工作体验像编码一样被自动化处理[14] - OpenAI员工James Sun表示,对许多工程师来说,让代理编码比自己编码更快,Computer Use将变得越来越像这样[15] 安全与隐私考量 - OpenAI CEO Sam Altman在2025年讨论早期Computer Use版本时警告“潜在风险”,建议“授予代理完成任务所需的最小访问权限,以减少隐私和安全风险”[15] - 安全公司Malwarebytes总经理Mark Beare认为这感觉像“狂野西部”,客户可能没有足够的隐私保护,企业也难以跟上AI治理步伐[16] - Beare建议用户隔离密码、敏感数据及受保密协议或隐私法保护的内容,避免让代理在长时间复杂任务中无监督运行,担心恶意网站引诱机器人提取个人信息[17] - OpenAI员工James Sun表示团队正在处理“确认政策”,即Computer Use工具应何时以及多久请求用户许可下一步操作,目前决定在AI代理传输数据或删除内容时先询问用户[18] - Sun指出可以在安全性和易用性之间权衡,公司正努力构建既有益又易于使用的产品[19]

Inside OpenAI's plan to make ChatGPT the way you use your computer - Reportify