文章核心观点 - 大模型的人机交互范式正从生成静态文本转向生成可交互的HTML应用（MiniApp），这代表了从“回答问题”到“交付应用”的根本性转变 [1][10] - 蚂蚁集团灵光App闪应用团队提出了首个专门评测大模型生成交互式HTML应用能力的基准MiniAppBench，并配套自动化评估系统MiniAppEval [4] - 评测结果显示，当前大模型生成真正可用的交互应用能力严重不足，16个顶尖模型的平均通过率仅为17.05%，即使最强模型（GPT-5.2）通过率也仅45.46% [5][31] 从文本到交互：AI人机交互的新范式 - 论文正式提出“MiniApp”概念，指由大模型依据用户单条Query即时生成的定制化HTML交互应用，这代表了从静态文本到可交互应用的范式转移 [8][11] - HTML因其美观的视觉呈现、丰富的交互逻辑支持、跨平台即开即用、无需安装部署的特性，成为直接面向用户的终端产品，而非中间产物 [14] - MiniApp的核心在于两大属性：一是对现实世界原则（如物理定律、生活常识）的理解与遵循，二是将理解转化为可执行代码的工程能力，二者缺一不可 [15] 现有评测基准的局限性 - 现有代码类评测基准（如HumanEval）主要测试算法逻辑和函数正确性，不涉及执行环境与用户交互，无法评估模型对世界常识的编码能力 [17] - 现有Web生成类评测基准（如WebGenBench）主要测试视觉还原度和布局一致性（“画得像”），而非功能正确的交互应用（“用得对”） [17] - 已有的Agent评测（如WebDevJudge）主要依赖与固定参考实现的偏差打分或A/B偏好对比，难以评估MiniApp这类开放式、无唯一标准答案的生成任务 [17] MiniAppBench：数据集构建与特点 - 数据集构建起点为超过1000万条真实交互需求，经过四阶段流水线筛选，最终蒸馏出500个高质量任务 [20] - 任务覆盖6个领域：科学（Science）、游戏（Games）、工具（Tools）、人文（Humanities）、可视化（Visualization）、生活（Lifestyle），以及3个难度级别（Easy/Mid/Hard） [24] - 每个任务都配有结构化的评测参考（Eval-Ref），列出意图、静态实现和动态交互中需要验证的关键检查点，作为辅助评估的指南，而非唯一标准答案 [23] MiniAppEval：自动化评估方法论 - 评估系统采用一个基于LLM的Agent来模拟人类测试员，通过Playwright驱动无头浏览器，真实地点击、拖拽、输入来操作应用，而非依赖固定脚本 [27] - 评估从三个维度展开：意图（Intention）维度检查是否满足用户需求；静态（Static）维度检查页面结构与代码正确性；动态（Dynamic）维度检查交互逻辑与因果一致性 [28] - 采用木桶原则，三个维度得分均需≥0.8才算通过，消融实验证明Eval-Ref、代码审查和动态测试三个组件缺一不可 [28][29] - 该评估方法与人类专家评判具有高度一致性，平均F1达到92.4%，跨评估者一致性κ=0.89 [29] 评测结果：模型能力分析 - 16个模型的平均通过率仅为17.05%，最高通过率为GPT-5.2的45.46% [31] - 开源与闭源模型差距巨大：开源最佳模型GLM-4.7通过率为18.31%，而闭源最佳GPT-5.2为45.46%，表明该评测远未饱和，区分度明显 [32] - 模型表现随难度上升急剧下降：头部模型在Easy任务上通过率较高（如GPT-5.2为74.71%），但在Hard任务上普遍腰斩甚至跌至个位数（如GPT-5.2跌至18.64%，GPT-5.1仅为3.49%） [32] - 不同领域表现差异显著：可视化（Visualization）和生活（Lifestyle）领域通过率相对较高，而科学（Science）和工具（Tools）领域因需严格遵循物理定律和鲁棒逻辑处理，成为最难挑战 [33] - 模型性能与推理开销（Token消耗、时间）呈正相关，但不同模型在相近性能下的资源消耗效率差异显著，表明优化模型架构与训练策略是关键 [33] 行业意义与未来信号 - 交互式应用生成正成为大模型能力的下一个前沿，标志着输出形态复杂度从文本、代码向交互应用的指数级增长 [36] - 评测揭示了当前大模型在“原则遵循”（对世界知识的深度理解与推理）上存在严重短板，这是仅靠增加训练数据难以轻松突破的瓶颈 [37] - 评估方法论需要进化，MiniAppEval展示的用LLM Agent模拟人类测试员、结合静态与动态评估的方法，对开放式代码生成场景具有重要参考价值 [37] - 开源模型在该方向上有巨大提升空间，目前最佳表现（GLM-4.7，18.31%）与闭源顶尖水平（GPT-5.2，45.46%）差距超过一倍 [37] - 当模型的交互应用生成能力从当前水平（最强45.46%）提升至90%以上，将彻底改变人机交互形态，实现用自然语言定制个性化工具 [39]