大模型数学能力下降研究 核心发现 - 大模型数学题答错概率因特定干扰语句翻3倍 其中DeepSeek-R1错误率从1.5%升至4.5% [2][23] - 干扰语句导致模型消耗Token量激增 最高达原消耗量的7倍 [17][19] - 攻击对推理模型效果显著 DeepSeek-R1和OpenAI o1受影响最严重 错误率提升3倍 [3][22][29] 攻击方法 - **攻击模式分类**：焦点重定向型(如储蓄建议)、无关琐事型(猫睡眠事实)、误导性问题型(预设答案提示) [14] - **实施流程**： 1) 筛选2000道数学题并确认模型初始正确率 2) 用GPT-4o进行对抗性修改(最多20次/题) 3) 最终574题攻击成功 语义一致性达60% [8][9][11][13] 模型表现差异 - **模型对比**： - DeepSeek-R1错误率升幅最大(3倍) - 蒸馏模型R1-Distill-Qwen-32B更脆弱 错误率从2.83%升至8% [24][27] - OpenAI o3-mini受影响较小 [29] - **数据集差异**：k12和Synthetic Math数据集最敏感 AMC AIME相对稳定 [31][32] 实验数据 - **攻击成功率**：DeepSeek-V3达35% DeepSeek-R1迁移成功率20% [26] - **效率影响**： - DeepSeek-R1在误导性问题攻击下Token消耗达16420 [25] - R1-Distill-Qwen-32B响应速度下降最严重 42.17%情况延迟1.5倍 [30] 研究背景 - 由Collinear AI团队开展 核心成员包括Hugging Face前研究负责人Nazneen Rajani [34][35] - 研究目标为提升开源LLM部署可靠性 团队规模50人以内 [35] 注：所有数据引用自实验原文 未包含任何推测性结论