开源AI基准测试xbench - 红杉中国正式开源xbench的两个评测集xbench-ScienceQA和xbench-DeepSearch，旨在量化AI系统在真实场景的效用价值并采用长青评估机制[1] - xbench-ScienceQA聚焦STEM学科，包含数学、物理、化学等8个主流学科，题目平均正确率仅32%，其中34%题目正确率低于20%[2][5][12] - xbench-DeepSearch专注评估AI Agent的深度搜索能力，要求综合运用规划+搜索+推理+总结的端到端能力，弥补中文语境搜索题库不足的弱点[3] 评测集特点 xbench-ScienceQA - 题目来源：邀请顶级院校博士和行业专家出题，确保来源可靠、多学科、搜索引擎未收录且答案明确[2] - 题型分布：包含77道问答题、14道多选题和9道单选题，降低模型"蒙对"概率[8] - 难度控制：采用LLM难度检验、同行检验等方式，实测不同模型得分差距超30%[2][10] xbench-DeepSearch - 题目设计：要求搜索空间大或推理步骤多，淘汰正确率>80%的题目[13][14] - 主题覆盖：参考OpenAI BrowseComp分类，确保多样性，涵盖历史、科技等方向[15] - 更新机制：每月汇报模型表现，每季度更新评估集，内部维护黑盒版本防止刷榜[3] 例题分析 ScienceQA示例 - 计算机题示例：考察图论单源最短路算法，正确答案为O(m√(log n·log log n))，被测模型平均正确率<5%[21][22] - 化学多选题：涉及物质结构最新研究成果，采用"全对才得分"评分方式，平均正确率<20%[24][26] DeepSearch示例 - 广度搜索题：计算东北三省接壤外国的地市数量，需跨省份数据整合，平均正确率47%[28][29] - 深度推理题：统计尼米兹级航母建造期间总统海军服役年限，侧重分步推理，正确率33%[29][30] 行业影响 - 填补高质量Agent评测集空白，动态更新机制适应AI技术快速迭代[3][31] - 开源模式吸引全球开发者参与，推动AI评估标准进化[1][33]