核心观点 - Meta正在大力推进AGI研发，通过高薪挖角和收购策略快速组建顶尖AI团队 [3][4][23][26] - 公司计划投入150亿美元收购Scale AI以强化数据标注能力，并直接吸纳其创始团队 [3] - 新成立的AGI实验室规模约50人，由CEO亲自领导并参与招聘，提供7-9位数薪酬方案 [25][26][28] 人才招募 - 从谷歌DeepMind挖角首席研究员Jack Rae，其为Gemini模型"思考"模块负责人，曾参与GPT-4开发 [2][7][9][13] - 引进AI语音初创公司Sesame AI的ML主管Johan Schalkwyk [3] - 向OpenAI/谷歌等公司数十名研究员开出200万美元年薪，但面临OpenAI/Anthropic的人才竞争 [28][31][32] 技术布局 - Jack Rae带来"压缩即智能"理论框架，主张AGI应实现有效信息的无损压缩 [13] - 新实验室将改进Llama模型并开发语音/个性化AI工具，目标超越谷歌/OpenAI [23][24] - 近期发布基于视频训练的世界模型V-JEPA 2，显示技术推进速度 [5] 组织架构 - CEO创建"招聘派对"高层群组讨论人才目标，亲自调整总部工位以靠近新团队 [25][27] - 实验室筹建优先级极高，所有成员均为CEO直接招募 [26] - Scale AI团队可能整体并入Meta，28岁华人创始人Alexandr Wang或将加入 [3] 行业背景 - 谷歌DeepMind近期转向大模型推理，Gemini新增"思考程度"控制功能以优化成本 [10][11] - 顶尖AI人才市场竞争白热化，Meta需支付数千万美元股权方案吸引专家 [4][29]

核心观点 - vivo与香港科技大学联合提出的PreSelect方法是一种轻量级高效的数据筛选技术，通过fastText评分器减少10倍计算需求，量化数据对模型能力的贡献[1][2][3] - 该方法基于"压缩即智能"理论，通过预测强度指标（S∈[0,1]）筛选能显著提升模型效果的数据，相比传统方法具有更强客观性和泛化性[7][8][9][13] - 实验显示PreSelect在17项下游任务中平均提升模型效果3%，在3B参数模型上关键指标如HumanEval通过率提升326.67%[20][23][24] 技术原理 - **预测强度计算**：通过模型loss排序与benchmark得分排序的一致性量化数据价值，公式为$${\bf S}=\sum_{1\leq i<N}\sum_{i<j\leq N}\mathbb{I}\{C_{i}>C_{j}\}/Z$$，其中C为BPC归一化loss[9][14] - **系统框架**：用fastText代理模型近似预测强度，将全量数据计算成本从O(N)降至O(1)[15][16][17] - **筛选维度**：支持样本级别和特定能力维度的细粒度筛选，避免传统方法的主观偏见[5] 性能对比 - **基准测试**：在RefinedWeb数据集上，PreSelect筛选8B tokens训练的400M模型平均得分27.0，显著高于DCLM的25.7和Random的24.2[19] - **规模扩展**：1B模型使用30%筛选阈值时，PreSelect以90B数据达到34.0平均分，优于DCLM同数据量的32.6[19] - **领域覆盖**：筛选结果中高质量知识类domain占比显著提升，如en.wikipedia.org密度达3.12%，同时保持原始数据长度分布[25][26] 应用效果 - **跨数据集验证**：在C4数据集上训练的1B模型，PreSelect使SciO准确率达69.5，超越MATES的67.3和Random的65.8[21] - **商业数据适配**：在vivo自有5T tokens数据中筛选500B训练3B模型，BBH得分提升3.75%，MMLU提升13.68%[23] - **计算效率**：相比DCLM需要100B tokens训练3B模型，PreSelect用相同数据量实现39.5平均分，节省33%计算资源[19]