Workflow
压缩即智能
icon
搜索文档
小扎“超级智能”小组第一位大佬!谷歌DeepMind首席研究员,“压缩即智能”核心人物
量子位· 2025-06-12 09:37
最新爆料,谷歌DeepMind首席研究员Jack Rae已经确认转投。 另有消息称,Meta还招募了AI语音初创公司Sesame AI的ML主管 Johan Schalkwyk。 白交 发自 凹非寺 量子位 | 公众号 QbitAI 小扎亲手挖人,很疯狂。 前一天刚被爆出,他想斥巨资150亿美元收购Scale AI,后者做数据标注已经做到了百亿美元估值。据说,他们28岁华人创始人Alexandr Wang与团队会直接并入Meta。 在过去一段时间里,这位CEO一直在家里与一些技术大佬见面。 好好好,看出来了小扎AGI组队,就是一个原则:这些科技公司的顶尖工程师们 应来尽来 ,而且钱都不是问题。他们为这些人提供了数千万 美元的薪酬方案,包括股权。 还得是小扎,决定做什么事之后就不遗余力,推进速度也是非常快。上一次亲手组团队还是。。(Doge) By the way,昨天还在揣测LeCun接下来去向,今天他就亲自出镜发布基于视频训练的世界模 型 V-JEPA 2 。 小扎挖人很疯狂 在首批挖人名单中,Jack Rae可能是最瞩目的那一个。 Jack Rae目前在谷歌DeepMind首席科学家已经两年,负责Gemi ...
全新预训练数据筛选方案,让数据效率提升10倍!配置仅需fastText评分器|港科大vivo出品
量子位· 2025-05-15 12:26
PreSelect团队 投稿 量子位 | 公众号 QbitAI vivo自研大模型用的数据筛选方法,公开了。 香港科技大学和vivo AI Lab联名提出 PreSelect ,目前已被ICML 2025接收。 这是一种轻量级且高效的数据选择方法:只需要训练和部署一个基于fastText的评分器,就可以减少10倍的计算需求。 该方法提出数据的 预测强度 (Predictive Strength) 的概念和计算公式,利用在不同模型上Loss有序性表征数据对特定能力的贡献,通过获 取特定能力的有效样本训练fastText分类器对全量训练数据进行筛选。 △ 论文标题:Predictive Data Selection: The Data That Predicts Is the Data That Teaches PreSelect:更客观、更轻量 现有的数据筛选方法主要分为两类:基于规则的筛选和基于模型的筛选。 基于规则的筛选依赖人工构建的先验规则,如C4 pipeline、Gopher rules,以及RefinedWeb和FineWeb的数据筛选流程。此类方法虽然实 现简单,但容易受到人工经验的限制,存在泛化 ...