GRA框架核心观点 - 无需依赖大模型蒸馏，通过多小模型协同机制（Generator-Reviewer-Adjudicator）即可生成高质量训练数据，实现"集体智能"路径 [1][13] - 实验证明GRA生成数据质量与Qwen-2.5-72B-Instruct等大模型输出相当或更高，在10个主流数据集中表现显著领先 [2][14] - 采用"模拟顶会审稿流程"机制，通过角色分工（生成/评审/仲裁）确保数据质量稳定性和标准统一性 [5][7][12] 框架运作机制 - Generator：划分数学/编程/逻辑推理等领域，小模型基于种子数据生成主题聚焦、语义清晰的样本 [8] - Reviewer：多小模型进行两轮审查，根据平均评分与一致性筛选样本，低分淘汰/分歧样本进入仲裁 [9] - Adjudicator：解决评审冲突，独立复审确保数据客观性，类似学术审稿中的Area Chair角色 [10] - 后处理模块：通过语义去重、摘要补全与格式统一提升数据一致性与表达质量 [11] 实验验证结果 - 性能对比： - Qwen-2.5-7B-GRA平均得分60.36，显著高于Alpaca（49.32）和Qwen-72B蒸馏版（53.03） [16] - LLaMA-3.1-8B-GRA平均提升6.18%，Qwen-2.5-7B-GRA平均提升11.81% [16] - Qwen-2.5-7B-GRA训练模型性能领先Qwen-72B蒸馏版8.83% [17] - 模型配置：集成5个7-8B参数小模型（LLaMA-3.1-8B/Qwen-2.5-7B等） [14] 技术优势分析 - 数据多样性：t-SNE显示GRA数据分布比种子数据广87.3%，覆盖更多语义盲区 [18] - 质量可靠性：87.3%样本获Qwen-2.5-72B高分认可，评分分布更平滑细腻 [19] - 训练有效性：IFD指标显示GRA数据难度比种子数据高14.58%，与Qwen-72B蒸馏数据相当（75.82% vs 75.49%） [20] 行业影响 - 打破大模型蒸馏依赖，提供低成本高性价比方案（7-8B小模型协同即可对标72B大模型） [17] - 揭示参数规模收益递减规律，验证"群体智慧"路径的扩展潜力 [17] - 开源项目推动行业应用（GitHub/Hugging Face资源已发布） [3][21]