核心观点 - AI Agent 的出现标志着 AI 发展的新阶段，突破了传统聊天机器人的局限，具备自主决策、多环境交互和多模态处理能力 [3][4][5] - 论文提出 "环境-能力" 二维分类框架，系统梳理了现有 AI Agent 评测基准，并总结出未来评测方法的四大进化趋势 [10][13][14][18] - 为开发者提供二阶段基准选择方法论，帮助精准匹配评测工具并适应未来需求 [27][28][29][30] 从 LLM Chatbot 到 AI Agent - AI Agent 相比传统聊天机器人实现五大维度进化：复杂环境交互、多源指令处理、动态反馈优化、多模态理解和主动任务执行 [5][6][7][8][4] - 演进动力来自外部环境复杂化与内部能力提升的相互促进，形成正向循环 [10] 评测框架与基准盘点 - 环境维度细分为代码、网页、操作系统等六类场景，能力维度涵盖规划、记忆等高级功能 [13][14] - 以 Web 环境为例，论文对比 20 个基准的关键属性，包括真实性（Synthetic/Real）、评测方式（Human/LLM）、输入模态（Text/Images）等 [15] - 典型基准包括：MiniWoB（合成环境离线测试）、WebShop（半真实购物流程）、WorkArena（真实在线 ServiceNow 实例）等 [15] AI Agent 评测方法的进化趋势 1. **环境视角**：从静态文本扩展到动态多模态实时环境，评测重点转向连续任务过程 [19] 2. **智能体视角**：从单 Agent 单向交互发展为多 Agent 协作博弈与多轮复杂任务链 [20][21] 3. **评测者视角**：AI 实现自动化同行评审，评测标准向个性化服务能力延伸 [22][23] 4. **指标视角**：从正确率扩展到效率、安全性、伦理等社会价值维度 [24][25] 基准选择行动指南 - **第一阶段**：根据任务场景（如 Web 环境）和核心能力（如交互）匹配现有基准，例如航班预订 Agent 适用 WebVoyager [28] - **第二阶段**：前瞻性纳入动态环境、安全合规（ST WebAgentBench）和个性化（PeToolBench）等新兴评测维度 [29][30] 行业意义 - AI Agent 的评测体系革新将推动行业从"对话能力"向"行动价值"转型，加速商业化落地 [32] - 多模态、多智能体协作等趋势预示下一代 AI 系统将更深度融入生产生活场景 [19][21][25]