最优传输理论
搜索文档
Nature子刊:原致远/赵屹/冯建峰合作提出3D数字器官重构新算法
生物世界· 2026-01-01 17:00
研究背景与行业痛点 - 当前主流的空间转录组学技术大多局限于二维平面观测,难以还原器官内部基因表达的连续梯度、细胞微环境的立体分布以及精细的细胞互作网络[2] - 通过堆叠2D切片来近似三维结构的方法,因高昂成本和有限通量,不得不对Z轴采样密度做出妥协,导致切片间存在不可忽视的物理间距(例如100微米,相当于缺失约5-10层细胞的信息),最终数据在Z轴上呈现高度稀疏的采样状态[2] 核心研究成果 - 复旦大学与中国科学院计算技术研究所团队于2025年12月31日在《Nature Methods》发表研究,发展了一种名为SpatialZ的全新计算框架[3] - 该框架基于细胞微环境连续性假设,融合最优传输理论,能在稀疏的真实切片间生成虚拟切片,实现从离散2D切片到密集3D图谱的重构[3] - 利用该框架,研究团队基于公开数据集构建了包含超过3800万个细胞基因表达和三维坐标的数字鼠脑,这是首个具有单细胞分辨率的空间三维大脑参考系[3] SpatialZ技术框架与原理 - 框架受到单细胞测序中“伪时间”概念启发,提出生物组织在3D空间上应遵循细胞微环境连续性原则[5] - 其四步级联算法包括:1)空间对齐;2)通过切片Wasserstein重心优化在Z轴间隙中预测细胞物理坐标分布;3)基于空间梯度的加权采样策略推断细胞状态;4)利用多尺度细胞上下文解码器建模细胞微环境,加权合成基因表达谱[5] 模型验证与性能 - 利用具有原生三维信息的小鼠视觉皮层STARmap数据测试显示,SpatialZ精准还原了稀疏采样中缺失的中间层信息,其生成的虚拟切片在基因表达与空间分布模式上与真实切片高度一致[6] - 在结构更复杂、采样更稀疏的小鼠下丘脑视前区MERFISH数据集上测试表明,重构后的图谱精准还原了特定脑区标记基因在Z轴上的连续梯度变化,并显著优化了下游分析任务效果[7] 应用成果与功能 - 研究团队利用129张稀疏小鼠大脑切片,构建了国际首个单细胞分辨率的3D虚拟鼠脑器官,包含超过3800万个细胞的高维组学信息和3D空间坐标[8] - 依托该数字器官,SpatialZ提供了数字切片模块,允许研究者从任意角度解析基因表达梯度,并实现了3D空间搜索功能,能将不同实验室产出的脑组织切片精准定位至全脑参考图谱的特定解剖坐标[8] 技术泛化能力与前景 - SpatialZ的底层逻辑具有强大泛化能力,可轻松扩展至空间蛋白组学、空间代谢组学乃至空间多组学数据[9] - 将该方法应用于人类乳腺癌组织的成像质谱流式数据,成功解析三维肿瘤微环境,并通过伪三维合成切片纠正了真实实验中的表达异常,证明了其作为一种模态无关的通用计算工具的潜力[9] - 该工作为构建跨模态、跨器官、跨物种的综合性三维空间图谱创造了新的可能,并有望在发育生物学、神经科学、肿瘤学等领域催生新发现[10]
近500页史上最全扩散模型修炼宝典,宋飏等人一书覆盖三大主流视角
机器之心· 2025-10-29 15:23
书籍核心价值与定位 - 书籍《The Principles of Diffusion Models》系统梳理了扩散模型的发展脉络与核心思想,深入解析了模型的工作原理、有效性及未来方向[5] - 该书以460多页的篇幅,通过严密的数学推导与公式展开,为具有深度学习基础的研究人员、研究生及从业者提供可靠的理论指南[1][8] - 书籍将变分、得分与流等多种视角在统一的数学框架下进行串联,既是研究者的系统参考资料,也是初学者的友好入门读物[5][6] 扩散模型基础原理 - 扩散模型将生成过程视为随时间逐步演化的变换,通过多阶段推理将粗略结构细化为精致细节,与传统生成模型直接学习噪声到数据的映射不同[11] - 领域研究者从三种主要视角发展扩散模型:变分方法、基于得分的方法和基于流的方法,这些视角提供了互补的框架[11][14] - 三种视角在数学上等价,共同构成了扩散建模的统一理论图景,并与变分自编码器、能量模型和归一化流等方法相联系[16][23] 扩散模型核心视角详解 - **变分视角**:源自变分自编码器,将扩散过程理解为通过变分目标学习去噪过程,形成去噪扩散概率模型[23] - **得分视角**:起源于能量模型,通过学习对数数据密度的梯度来指导逐步去噪,在连续时间设定下与随机微分方程和常微分方程理论紧密相连[23] - **流视角**:基于归一化流,将生成建模表述为连续的流动变换,通过ODE描述样本从简单先验分布逐步运输至数据分布的过程[23] - 第6章展示了三种视角之间的深层统一性,第7章进一步探讨其与最优传输理论及薛定谔桥之间的联系[24][25] 扩散采样控制与加速 - 扩散模型的生成过程呈现出由粗到细逐步精化的特征,但采样过程计算代价较高,需要改进采样方法和学习型加速技术[26][27] - **引导式生成**:通过分类器引导和无分类器引导等方法,使生成过程能够根据用户定义的目标或属性进行条件控制,实现偏好对齐[29] - **基于数值求解器的快速生成**:采用先进数值求解器,在更少的反向积分步骤中近似模拟扩散反过程,显著降低计算成本的同时保持生成质量[29] 快速生成模型的学习方法 - **基于蒸馏的方法**:训练学生模型模仿已训练好的教师扩散模型的行为,以显著更少的积分步数重现教师模型的采样轨迹或输出分布[30] - **从零开始的学习**:直接从零开始学习ODE的解映射(流映射),无需依赖教师模型,实现端到端的快速生成,消除多步采样的时间瓶颈[30][31][32] - 这些方法旨在通过模型学习获得对扩散动态的直接近似,从根本上提升生成速度与可扩展性[30] 书籍涵盖范围与理论体系 - 全书围绕统一核心原理展开:构建连续时间动力系统,将简单先验分布逐渐传输至数据分布,并确保任意时刻的边缘分布与预设正向过程诱导的边缘分布一致[33] - 书籍系统推导了扩散模型的基本机制,包括构建支持采样的随机流与确定性流、通过引导机制控制生成轨迹、利用数值求解器加速采样过程[34][36] - 本书旨在建立具有持久价值的理论体系,帮助读者在统一框架下定位新研究、理解方法原理、并具备设计与改进新一代生成模型的能力[36]
DeepSeek“防弹衣”来了,模型内生安全加固方案,拒绝杀敌一千自损八百|上海AI Lab
量子位· 2025-03-13 11:28
核心观点 - DeepSeek-R1模型存在隐形危险,其思考过程可能泄露有害内容,现有防御技术面临两难局面 [1] - X-Boundary安全防御方案通过分离安全和有害表征,实现精准高效的安全加固,同时保持模型通用性能 [2] - X-Boundary在DeepSeek-R1-Distill-Llama-8B上表现优异,能彻底封堵信息泄漏通道 [3] - X-Boundary结合基于规则的检测器,实现高效和安全的兼顾 [4] 现有防御方法的缺陷 - 主流防御方法(SFT/DPO/GA/CB)在加固安全防线时导致智能水平衰退,SFT使DeepSeek-R1-Distill-Llama-8B的数学能力骤降10% [5] - 多轮防御训练在多轮攻防场景中导致安全问答误伤率飙升30%,安全防线模糊不清,边界案例与有害表征分布高度重合 [6] X-Boundary防御框架 - X-Boundary通过三步建立动态防护网:边界绘制、威胁瓦解、智能保鲜,从根源切断危险与安全表征的混淆 [8] - X-Boundary基于最优传输理论,使安全表征更聚集,训练收敛速度在Llama-3-8B和Qwen2.5-7B上分别提升27%和18% [9] - X-Boundary在模型内部构建明暗分界的安全防线,有害表征和安全表征得到清晰区分 [11] 实验效果 - X-Boundary在多轮攻击防御成功率上追平现有最优方案,误伤率降至最低水平,模型通用能力保持99%以上原生性能 [13] - 在Qwen2.5-14B-Chat上,X-Boundary对复杂多轮攻击的防御强度提升65%,误伤率增幅锁死在5%以内,模型智商损耗不足0.6% [15][19] - X-Boundary在防御成功率与误伤率之间取得更好平衡,位于权衡图的左下角 [14]