深度监督网络)

搜索文档
被拒稿11年后翻盘获时间检验奖,DSN作者谢赛宁:拒稿≠学术死刑
量子位· 2025-05-06 12:24
论文获奖与学术影响 - 谢赛宁十年前被NeurIPS拒收的论文《Deeply-Supervised Nets》(DSN)获得AISTATS 2025年度时间检验奖 [1][2] - DSN提出的中间层监督思想被后续研究REPA和U-REPA继承发展,展示出从单一模型优化到跨模型知识迁移的演进 [3][4] - DSN已成为计算机视觉领域的经典方法,是首个在生成式AI领域产生跨代影响的监督学习框架 [17] 论文核心贡献与技术细节 - DSN旨在解决深度学习中隐藏层特征学习问题,提升分类性能 [12] - DSN通过中间层监督机制解决CNN三大痛点:梯度消失(通过辅助分类器增强梯度信号)、特征鲁棒性(中间层直接参与分类任务,AlexNet第3层特征分类准确率提升18%)、训练效率(CIFAR-10数据集上ResNet-50训练收敛速度加快30%,Top-1准确率提升2.1%) [15] - 截至文章推送,DSN谷歌学术被引量超过3000次 [18] 学术评价与行业反响 - AISTATS官宣获奖后,业界大佬齐聚祝贺 [5] - 计算机会议时间检验奖要求论文在获奖10年前发表,需被同行评价为开创性工作或成为后续研究基础范式 [22] - 类似案例包括被ICLR拒稿后转投NeurIPS的Word2vec(2023年获时间检验奖)和被ICLR 2024拒稿的Mamba [30] 作者经历与学术启示 - DSN是谢赛宁攻读博士学位期间提交的第一篇论文,共同一作为谷歌研究科学家Chen-Yu Lee,通讯作者为UCSD教授屠卓文 [7][8][9] - 谢赛宁分享经验:坚持不懈需要强大支持系统和具体实践指导,导师屠卓文的指导与合作者Chen-Yu Lee的帮助至关重要 [25][26] - Chen-Yu Lee表示对DSN的持续影响力和相关性感到自豪 [28]