最优传输理论
搜索文档
近500页史上最全扩散模型修炼宝典,宋飏等人一书覆盖三大主流视角
机器之心· 2025-10-29 15:23
机器之心报道 编辑:冷猫、陈陈 关于扩散模型的一切,宋飏等人写成了 460 多页的书。 扩散模型(Diffusion Models) ,几乎重塑了整个生成式 AI 的版图。从图像到音频,从视频到 3D 世界。 然而,当人们真正想理解它的原理时,却往往不得不在海量论文之间反复查找、跳转、拼凑概念。 如果你也曾厌倦了一遍又一遍地翻阅原始论文,这本专著《 The Principles of Diffusion Models 》,将成为你系统理解扩散模型的可靠指南与理论起点。 作者团队来自 Sony AI、OpenAI 和斯坦福大学。值得一提的是,书籍作者之一、原 OpenAI 战略探索团队负责人宋飏(Yang Song)也在作者栏中,不过,上个 月,宋飏已经加入 Meta,成为 Meta 超级智能实验室(MSL)研究负责人。 本书系统梳理了 扩散模型的发展脉络与核心思想,并深入解析了这些模型如何工作、为何有效、以及未来将走向何方 。它不仅回顾了理论起点,也以统一的数学 框架串联了变分、得分与流等多种视角。 可以说,本书既是研究者的系统参考资料,也是初学者进入扩散模型世界的友好入门读物。 书籍地址:https://a ...
DeepSeek“防弹衣”来了,模型内生安全加固方案,拒绝杀敌一千自损八百|上海AI Lab
量子位· 2025-03-13 11:28
核心观点 - DeepSeek-R1模型存在隐形危险,其思考过程可能泄露有害内容,现有防御技术面临两难局面 [1] - X-Boundary安全防御方案通过分离安全和有害表征,实现精准高效的安全加固,同时保持模型通用性能 [2] - X-Boundary在DeepSeek-R1-Distill-Llama-8B上表现优异,能彻底封堵信息泄漏通道 [3] - X-Boundary结合基于规则的检测器,实现高效和安全的兼顾 [4] 现有防御方法的缺陷 - 主流防御方法(SFT/DPO/GA/CB)在加固安全防线时导致智能水平衰退,SFT使DeepSeek-R1-Distill-Llama-8B的数学能力骤降10% [5] - 多轮防御训练在多轮攻防场景中导致安全问答误伤率飙升30%,安全防线模糊不清,边界案例与有害表征分布高度重合 [6] X-Boundary防御框架 - X-Boundary通过三步建立动态防护网:边界绘制、威胁瓦解、智能保鲜,从根源切断危险与安全表征的混淆 [8] - X-Boundary基于最优传输理论,使安全表征更聚集,训练收敛速度在Llama-3-8B和Qwen2.5-7B上分别提升27%和18% [9] - X-Boundary在模型内部构建明暗分界的安全防线,有害表征和安全表征得到清晰区分 [11] 实验效果 - X-Boundary在多轮攻击防御成功率上追平现有最优方案,误伤率降至最低水平,模型通用能力保持99%以上原生性能 [13] - 在Qwen2.5-14B-Chat上,X-Boundary对复杂多轮攻击的防御强度提升65%,误伤率增幅锁死在5%以内,模型智商损耗不足0.6% [15][19] - X-Boundary在防御成功率与误伤率之间取得更好平衡,位于权衡图的左下角 [14]