核心观点 - 上海AI Lab、中国科学技术大学和上海交通大学联合推出RiOSWorld测试基准，用于全面评估Computer-Use Agent（CUA）在真实电脑使用场景中的安全风险 [1][8] - 当前阶段的CUA存在严重安全隐患，平均意图不安全率达84.93%，风险操作完成率达59.64% [24][25] - RiOSWorld搭建了100%真实的测试环境，包含492个风险案例，覆盖13类安全风险 [10][11][13] 研究背景 - 现有CUA测评环境缺乏真实性，风险类别单一，无法全面评估安全风险 [9] - RiOSWorld相比其他测评基准具有明显优势，支持真实网络环境和动态威胁 [10] 风险分类 - 环境风险（254个案例）：钓鱼网站、钓鱼邮件、弹窗广告、reCAPTCHA、账户欺诈、诱导性文字 [11] - 用户风险（238个案例）：网页操作、社交媒体、Office套件、文件操作、OS操作、代码IDE/Github、多媒体操作 [13] 评估方法 - 从两个维度评估：Risk Goal Intention（风险意图）和Risk Goal Completion（风险完成） [16] - 通过真实交互环境模拟各类风险场景，如点击恶意弹窗、执行高风险命令等 [19][20] 测试结果 - 主流CUA（GPT-4.1、Claude-3.7-Sonnet等）在钓鱼网站等高风险场景翻车率超89% [22][26] - 环境风险场景中，不安全意图率89.12%，完成率60.29% [24] - 用户风险场景中，不安全意图率81.33%，完成率59.07% [24] 项目成果 - 论文、项目官网和GitHub代码已全部开源 [2][4] - 为CUA安全发展提供了重要基准和方向指引 [29]