生成式AI评估新方法 - 传统AI基准测试技术已显不足 行业正转向更具创意的方法评估生成式AI模型能力[1] - Minecraft被选为新测试平台 因其作为史上最畅销视频游戏的广泛认知度[3][4] - MC-Bench平台通过用户投票比较AI生成的Minecraft作品 实现直观评估[2][8] MC-Bench平台特性 - 技术本质是编程基准测试 AI需编写代码实现特定建筑指令如"雪人"或"热带海滩小屋"[8] - 采用可视化结果对比 降低评估门槛 普通用户可通过建筑外观而非代码质量进行判断[8] - 已获Anthropic Google OpenAI 阿里巴巴等公司资助 用于运行基准测试提示[4] 游戏化测试优势 - 游戏环境比现实场景更安全可控 适合测试AI代理推理能力[5] - 除Minecraft外 《精灵宝可梦红》《街头霸王》等游戏也被用作AI实验基准[5] - 当前AI在标准化测试中表现优异 但在游戏场景中能力仍落后人类儿童[6] 行业应用价值 - 发起人认为MC-Bench排行榜能更真实反映模型实际体验 优于纯文本基准测试[9] - 平台计划从简单构建扩展到长期目标导向任务 以跟踪AI进展[4] - 测试结果可能帮助企业验证技术路线正确性[9]