在建模复杂的数据分布方面，扩散生成模型表现出色，不过它的成果大体上与表征学习（representation learning）领域关联不大。 机器之心报道 编辑：Panda 通常来说，扩散模型的训练目标包含一个专注于重构（例如去噪）的回归项，但缺乏为生成学习到的表征的显式正则化项。这种图像生成范式与图像识别范式差 异明显 —— 过去十年来，图像识别领域的核心主题和驱动力一直是表征学习。 在表征学习领域，自监督学习常被用于学习适用于各种下游任务的通用表征。在这些方法中，对比学习提供了一个概念简单但有效的框架，可从样本对中学习表 征。 直观地讲，这些方法会鼓励相似的样本对（正例对）之间相互吸引，而相异的样本对（负例对）之间相互排斥。研究已经证明，通过对比学习进行表征学习，可 以有效地解决多种识别任务，包括分类、检测和分割。然而，还没有人探索过这些学习范式在生成模型中的有效性。 鉴于表征学习在生成模型中的潜力，谢赛宁团队提出了 表征对齐 (REPA) 。该方法可以利用预训练得到的现成表征模型的能力。在训练生成模型的同时，该方法 会鼓励其内部表征与外部预训练表征之间对齐。有关 REPA 的更多介绍可阅读我们之前的报道 ...

技术突破 - 捷克技术大学领衔的国际团队研发出名为DreaMS的AI分子解码器，能快速解析未知分子结构 [1] - DreaMS采用自监督学习模式，模仿人类婴儿学习语言的过程，无需预先灌输化学规则 [1] - 通过"阅读"数千万份质谱图，自主构建分子结构认知体系，发现传统方法难以捕捉的深层关联 [1] 应用领域 - 有望应用于药物研发与太空生命探测等领域 [1] - 可解析隐藏在植物、土壤甚至外星环境中的神秘分子，可能蕴藏治疗顽疾的新药配方、环保农药分子蓝图 [1] - 具备氟元素检测能力，突破现代药物和农药中氟原子难以通过质谱法识别的瓶颈 [2] 技术原理 - 每个分子有独特的"指纹"质谱图，现代光谱仪能捕获图谱但解读难度大 [1] - DreaMS能解读由数百万数据点构成的质谱图并揭示确切分子结构 [1] - 特训后掌握氟元素检测法，解决学界多年检测难题 [2] 研究成果 - 相关研究发表于《自然·生物技术》杂志 [1] - 发现杀虫剂、食物与人类皮肤之间的分子相似性，推测某些杀虫剂可能与牛皮癣等自身免疫疾病存在关联 [1]

该研究基于因果效应估计等手段，提出小批量数据采样策略，来消除不可观测变量语义干扰的混杂影 响。这一策略通过学习隐变量模型，来估计在给定"锚点"样本的条件下，不可观测语义变量的后验概率 分布，将其记为平衡分数。进而，该策略将具有相同或相近平衡分数的样本对划分为同一个小批量数据 集，确保每个小批量数据集内的不可观测语义变量与"锚点"样本在条件上是独立的，从而帮助模型避免 学习到虚假关联，提升模型的分布外泛化能力。 经济观察网讯据软件研究所消息，近日，中国科学院软件研究所科研团队提出了小批量数据采样策略， 可消除由不可观测变量语义引起的虚假关联对表征学习的干扰，来提升自监督学习模型分布外泛化能 力。 自监督学习的分布外泛化能力是指模型在面对与训练数据分布不同的测试数据时，仍能够保持良好性 能。简单来说，模型需要在"未见过"的数据分布上表现得和在训练数据上一样好。但是，有研究发现， 自监督学习模型在训练过程中受到与学习任务无关的不可观测变量的语义干扰，从而削弱分布外泛化能 力。 进一步，该研究在基准数据集上进行了广泛实验。所有实验均仅替换批次生成机制，无需调整模型架构 或超参数。实验显示，这一采样策略使当前主流自监督 ...

机器之心报道 机器之心编辑部 近日，ISCA Fellow 2025 入选结果揭晓！ ISCA Fellow 是由国际语音通讯协会（International Speech Communication Association，ISCA）设立的荣誉称号，旨在表彰在语音通信科学与技术领域做出杰出贡献 的会员，包括研究人员、工程师和学者。 该奖项设立于 2007 年，每年新晋 Fellow 不超过当年 ISCA 会员总数的千分之三，确保稀有性和权威性。 自设立以来，ISCA Fellow 人数已经超过 100 人。ISCA Fellow 2025 入选者共有 8 位，包括以下三位华人学者： 华人入选者 俞凯 个人简介： 俞凯，思必驰联合创始人、首席科学家，上海交通大学特聘教授，清华大学本科、硕士，剑桥大学博士。入选国家级重大人才工程，国家自然科学基 金委优青，上海市「东方学者」特 聘 教 授 。IEEE 信号处理学会会议理事会 (Conference Board) 和会员理事会 (Membership Board) 理事，IEEE Speech and Language Processing Technical C ...

SimDINO团队 投稿 （当然了，DINO模型本身就是四年前Meta AI团队提出的） SimDINO 和 SimDINOv2 ，通过编码率正则化简化DINO和DINOv2模型训练流程得到的两个最新模型。 在目前视觉预训练领域，DINO和DINOv2是最强视觉模型梯队选手，也是目前最常用的方法。在多模态大模 型火热的当下，DINOv2也经常被用作VLM中的视觉编码器提供视觉特征。 此外，图灵奖得主、Meta首席AI科学家杨立昆团队近期关于世界模型的工作，也基于DINOv2而来。 但DINO系列目前仍然需要基于非常复杂的工程方法来实现。 而 SimDINO通过去除DINO中复杂的后处理步骤等，解决了DINO系列的训练难题 。 更令人惊喜的是，简化后的模型不仅训练更容易，性能反而更强。 或许这就是"简单即是美"的设计理念在深度学习中的重要价值？ （手动狗头） 量子位 | 公众号 QbitAI 最新开源的视觉预训练方法，马毅团队、微软研究院、UC伯克利等联合出品！ 马毅表示： 我们不是在修补DINO，而是在重新发现视觉表示学习的本质规律。 核心方法：化繁为简 自监督学习 （Self-Supervised Lear ...