研究背景 - 基于开源模型微调的范式已成为大型语言模型发展的基础，推动其在科研和工业界的广泛应用[5] - 研究揭示该范式中存在此前未被认识到的安全漏洞：开源模型开发者可通过后门注入方式提取下游私有微调数据[5] - 与传统模型蒸馏不同，该后门机制可恢复微调过程中使用的查询语句，这些查询通常包含专有内容或用户特定提示语[5] 方法概览 - 后门攻击实现的关键原因是在微调过程中对训练查询计算损失，这是某些开源大语言模型后训练框架的默认设置[6] - 团队提出两种后门训练方案：基于SFT的方案通过构造特殊数据对增强模型遵循抽取指令能力[7]，基于GRPO的方案通过强化学习进一步提升抽取性能[8] - 在抽取阶段采用打分机制识别真实出现的开头词，依据模型拒绝回复的可能性和重复输出频率进行判断[9][10] 实验结果 - 在Dolly数据集测试中，Qwen2 5-32B模型经过SFT训练后Match Ratio均值达49 2%，Max@10达81 3%[14] - 在Finance数据集上，Qwen2 5-32B模型召回率最高达76 3%，精准度在使用50个开头词时超60%[16][17] - 开头词信息已知情况下，完整query召回率可提升至94 9%[16][19] - 后门训练未对模型通用性能产生负面影响，AlpacaEval2和MMLU测试结果保持稳定[12][14] 技术原理 - 后门训练使模型输出分布与实际训练分布匹配度显著提升，KL散度从0 61降至0 11[17] - 通过分析输出分布发现，模型能准确捕捉训练查询中开头词的实际分布特征[17] 防御探讨 - 基于检测的防御手段通过尝试不同抽取指令来识别后门训练，但对乱码指令完全失效[20] - 实验显示当使用乱码抽取指令时，Match Ratio均值从29 8%降至11 2%[20] 研究意义 - 该工作揭示了开源模型微调范式的新型安全风险，具有较大危害性且难以检测[1][5] - 研究启发了后续在攻击防御、数据筛选机制、可控性增强等方面的探索方向[22]

就在这几天一个项目火了，就是叫做weclone。 | WeClone Public | | | > Watch 47 | & Fork 675 | Star 8.7k | | --- | --- | --- | --- | --- | --- | | master - 7 Branches 7 7 Tags | Q Go to file t Add file - | <> Code - | | About | | | xming521 Merge pull request #74 from BAIKEMARK/update-readme = | 4c383d3 - 20 hours ago | | 9 158 Commits | √从聊天记录创造数字分身的一站式解决方 案 使用聊天记录微调大语言模型 | 让大模 | | .cursor/rules | update Ilm judge | | 2 weeks ago | 型有"那味儿",并绑定到聊天机器人, 自己的数字分身。 | 25310 数字克隆/数字分身/数字 | | dataset | 修改dataset/test_data.json,增加对话内容并删 ...

今天凌晨， OpenAI 发布了新模型 GPT-4.1 ，相对比 4o，GPT-4.1 在编程和指令遵循方面的能力显 著提升，同时还宣布 GPT-4.5 将会在几个月后下线。 不少人吐槽 OpenAI 让人迷惑的产品发布逻辑——GPT-4.1 晚于 4.5 发布，以及混乱的模型命名，这 些问题，都能在 OpenAI CPO Kevin Weil 最近的一期播客访谈中得到解答。 在访谈中，Kevin Weil 分享了 OpenAI 在产品方面的路线规划，以及所拥护的产品发布哲学「迭代 部署」，对于近期火热的 4o 图片生成功能，也做了内部的复盘。 Kevin Weil 表示，「我们尽量保持轻量级，因为它不可能完全正确。我们会在半路放弃一些不正确 的做法或研究计划，因为我们会不断学习新的东西。 我们有一个哲学叫做迭代部署，与其等你完全 了解模型的所有能力后再发布，不如先发布，即使不完美，然后公开迭代。 」 背景：Kevin Weil 是 OpenAI 的首席产品官，负责管理 ChatGPT、企业产品和 OpenAI API 的开发。在加入 OpenAI 之前，Kevin 曾担任 Twitter、Instagram ...

近日，得一微电子（YEESTOR）发布集成AI-MemoryX技术的显存扩展解决方案。该方案依 托自研存储控制芯片和AI存储系统级创新，显著提升单机的显存容量，让32B、70B、110B、 671B等DeepSeek系列大模型实现单机微调训练，为AI大模型的微调训练提供功能强大且经济 实惠的解决方案。 得一微电子及相关合作伙伴将提供完整的微调训练机解决方案，助力众多行业拓展智能应用边 界，在产业竞争中占据先机。 低成本实现显存扩展， 解锁百倍大模型微调训练提升 训练和推理对GPU显存的需求存在显著差异。对于同一尺寸的模型，训练所需的显存通常是推理的 20倍以上。目前市场上，训推一体机在支持大模型微调训练方面仍面临显存容量的挑战，通常只能 支持7B、14B等大模型的微调训练，难以支持110B、70B、32B等更大模型的微调训练。 得一微发布的AI-MemoryX显存扩展卡，将促进训推一体机能够支持超大尺寸大模型的微调训练， 帮助客户支持高达110B（甚至671B）规模的训练任务。同时，AI-MemoryX技术将原本需耗费数百 上千万的硬件扩充成本，降低至数万元级别，大幅降低了超大模型训练的门槛。这将使得更多企业 ...