马斯克开源推荐算法,完全基于AI大模型
搜狐财经·2026-01-20 17:16

算法开源与核心架构 - 马斯克宣布旗下社交平台首页信息流“为你推荐”的核心算法已正式开源 [12] - 系统架构名为“HOME MIXER”,是一个编排层,负责处理“为你推荐”的请求 [1][3] - 该算法管道提供了一个灵活的框架,用于构建推荐管道,其功能包括将管道执行和监控与业务逻辑分离、独立阶段的并行执行和优雅的错误处理、以及轻松添加新的来源、水合作用、过滤器和评分部件 [10] 内容候选来源 - 算法主要从两个候选来源获取帖子:“THUNDER”和“PHOENIX RETRIEVAL” [1][4] - “THUNDER”负责获取用户关注账号的帖子,即网络内帖子 [1][4] - “PHOENIX RETRIEVAL”负责从全球语料库中发现帖子,即网络外帖子,基于机器学习相似性检索 [1][4][12] 数据处理与过滤流程 - 在获取候选帖子后,系统会进行“水合”步骤,获取额外的核心帖子元数据、作者信息等 [1][4] - 随后进行过滤,移除重复内容、旧帖子、用户自己的帖子以及被屏蔽作者的帖子 [1][4] - 在最终排序选择后,还有一次发布后过滤,进行可见性过滤,如删除垃圾信息、暴力、色情内容等 [1][5] 核心排序模型与机制 - 使用名为“Phoenix Scorer”的机器学习模型进行预测,该模型是一个基于Grok的Transformer模型 [1][4][12] - 该模型并非预测单一的“相关性”得分,而是预测多种用户行为的概率,包括点赞概率、回复概率、转发概率和点击概率 [1][4][9] - 最终得分是这些行为预测概率的加权组合,加权得分 = Σ (权重 * 预测概率) [1][5] - 总分越高意味着帖子越应该被推荐给用户 [12] 关键设计决策与特点 - 系统完全依赖于基于Grok的Transformer从用户互动序列中学习相关性,无手工设计特征,这显著降低了数据管道和服务基础设施的复杂性 [6][12] - 在Transformer推理过程中,候选帖子之间无法相互关联,只能关注用户上下文,这确保了帖子得分不依赖于批次中其他帖子的内容,从而保证了得分的一致性和可缓存性 [7] - 系统采用作者多样性评分器,对重复作者的内容进行衰减,以确保信息流的多样性 [1][5] - 检索和排名都使用基于哈希的嵌入查找方法 [8]

马斯克开源推荐算法,完全基于AI大模型 - Reportify