产品功能 - OpenAI推出ChatGPT Agent功能 该功能可像真人助理一样直接执行任务 包括打开网页 查信息 点击按钮 填表单 下单 订酒店 规划婚礼等[1] - 用户可实时查看Agent的"桌面" 监控其操作过程 包括访问的网页和点击的按钮[2] 技术风险 - 存在Prompt Injection风险 攻击者可通过诱导性指令操控AI执行危险操作 如输入信用卡信息[4] - AI可能被钓鱼网页欺骗 自动提交用户敏感信息 而用户无法察觉[6] - OpenAI承认无法完全控制所有潜在威胁 新技术存在未知风险[8] 安全措施 - 部署行为监控机制 识别常见钓鱼操作[7] - 训练AI忽略可疑网页指令[7] - 提供Takeover模式 允许用户手动输入敏感信息[7] 用户信任问题 - AI缺乏责任承担能力 出错后果由用户承担[12][13] - AI仅基于算法规律决策 不具备真正判断力[14] - 技术使AI从辅助工具升级为决策代理 引发信任危机[15][16] 应用边界 - 适合委托AI的任务包括写邮件 查资料 比价等低风险操作[10] - 涉及支付 签约等高敏感度操作需保留人工最终决策权[11] - 当前解决方案为有限授权 利用效率优势但不完全放权[17]