henry 发自 凹非寺 量子位 | 公众号 QbitAI 要说真学术，还得看推特。 刚刚，谢赛宁自曝团队新作 iREPA 其实来自4个多月前的，一次与网友的辩论。 这场短暂的线上辩论虽然以谢赛宁被网友说服告终，但在3个多月后，居然有了意料之外的后续—— 多个团队合作，沿着这一思路写出了一篇完整的论文，而且核心框架仅需3行代码。 致谢部分还感谢了当时参与讨论的网友。 一篇推特引发的学术论文 事情是这样的。 一位网友在8月份表示： 别再痴迷于ImageNet-1K的分类分数了！自监督学习（SSL）模型应该专门为稠密任务（如REPA、VLM等）进行训练，因为这些任务 真正依赖的是patch tokens中的空间和局部信息，而不是[CLS]token所代表的全局分类性能。 $${\cal L}_{\rm Gram}=\left\|{\bf X}_{S}\cdot{\bf X}_{S}^{\top}-{\bf X}_{G}\cdot{\bf X}_{G}^{\top}\right\|_{\rm F}^{2}.\tag{2}$$ $${\cal L}_{\rm Ref}=w_{\rm D}{\cal L}_{\rm D ...