核心观点 - 字节Seed团队发布UI-TARS-2智能体 通过多轮强化学习训练实现跨平台自主操作GUI 在电脑、手机、浏览器及游戏场景中表现优于Claude和OpenAI等竞争对手 [2][4][23][25] 技术架构与设计思路 - 采用统一Agent架构 以大语言模型为核心决策器 支持自然语言指令到GUI/终端/工具操作的通用执行循环 [7] - 整合多模态感知与环境交互 输入端包含屏幕截图、文本上下文及历史操作轨迹 输出端支持点击坐标、拖拽动作、命令行及API请求 [7] - 构建混合操作流 智能体可无缝组合GUI点击、终端命令和API调用 例如网页找资料后调用搜索API处理数据 [7] - 核心目标为构建原生通用跨平台GUI智能体 覆盖电脑、手机、网页、终端及游戏复杂任务 [6] 性能表现与基准测试 - 在OSWorld测试中得分47.5 超过Claude-4-Sonnet的43.9和OpenAI CUA-o3的42.9 [23][25] - 在WindowsAgentArena测试中得分50.6 超过UI-TARS-1.5的42.1 [23][25] - 在TerminalBench命令行任务中得分45.31 超过Claude-4-Opus的43.2和OpenAI o3的30.2 [23][25] - 在15款小游戏中平均得分达人类水平的59.77% 显著高于OpenAI CUA的24.73%和Claude Computer Use的21.61% [25][27] - 在Shapes游戏中得分5.9 超过人类水平的5.42 在2048游戏中得分932.4 接近人类水平的1024.31 [27] 多轮强化学习与数据飞轮 - 通过多轮强化学习解决GUI操作四大难题：数据稀缺、环境割裂、能力单一及训练不稳定 [4][5][10] - 采用冷启动策略 通过合成数据和人工标注构建高质量监督微调数据集 [11] - 通过拒绝采样生成新轨迹 按质量筛选后高质量数据进微调集 低质量数据进预训练集 形成模型与数据相互增强的循环 [12] - 针对奖励稀疏问题 对可验证任务采用明确信号奖励 对模糊任务训练智能体自身作为奖励模型输出成功分数 [16] - 采用异步rollout模式 将模型推理与执行过程分离 并优化PPO算法包括解耦GAE和不对称裁剪 [17] 工程实现与平台支撑 - 构建统一沙盒平台 支持百万级交互训练 解决传统环境难复现、易崩溃及吞吐量低的问题 [20][21] - 沙盒平台兼容多载体 包含云虚拟机文件系统、远程VS Code及Jupyter等工具 覆盖桌面-移动-游戏全场景 [18][22] - 基于Seed-thinking-1.6模型训练 总参数230B 含532M视觉编码器和23B激活参数 [23]