Workflow
推荐系统
icon
搜索文档
当推荐系统真正「懂你」:快手团队在NeurIPS 2025提出新成果TagCF
机器之心· 2025-11-27 12:09
论文标题: Who You Are Matters: Bridging Topics and Social Roles via LLM-Enhanced Logical Recommendation 背景和动机 用户理解:A Missing Formulation 论文: http://arxiv.org/abs/2505.10940 代码: https://github.com/Code2Q/TagCF 每天,推荐系统都在捕捉我们的兴趣与偏好。从刷过的视频到停留的直播间,算法总是聚焦在「内容」的理解上,推断用户喜欢哪类视频、哪种话题,擅长 在「内容层」识别用户喜欢什么,却很少真正理解「你是谁」。 快手消费策略算法团队注意到了这一问题,他们想让推荐系统不止「会猜」,而是「懂你」。为弥补这一缺失的建模角度, 快手消费策略算法团队 联合快 手基础大模型与应用部及武汉大学,提出了 TagCF 框架,让推荐系统从「知其然」迈向「知其所以然」。 该研究成果已被 NeurIPS 2025 接收,相关代码与实验框架已全面开源,旨在为学术界与工业界提供一套以「理解驱动」为核心的推荐系统方法论。 图 2 当推荐系统通过统计模型 ...
2018 - 2020,抖音超越快手的关键三年|42章经
42章经· 2025-11-16 20:59
抖音发展历程与关键节点 - 抖音于2016年正式立项,2017年七八月份开始起量 [3] - 2017年下半年经历第一波较大增长,借助“百万英雄”直播答题活动吸引高校年轻用户 [8] - 2017年至2018年春节,因偶然获得春晚资源位,流量翻倍,DAU增速显著,内部首次认识到其增长潜力 [9] - 到2018年底、2019年年初,抖音DAU反超快手 [11] - 2020年之后,业务重点转向电商、本地生活等商业化方向 [15] 字节跳动的战略思考与产品定位 - 公司决定做短视频是基于对内容时长的分析,认为0到1分钟的短内容存在巨大市场空间 [16] - 抖音最初在内部资源较少,预期天花板为600万至1200万DAU,远低于后来实际达到的8亿DAU [20][23] - 产品定位为“无脑”的娱乐消费产品,其最大竞争对手是游戏,满足了用户无需动脑的放松需求 [85][86] - 推荐系统在分发此类内容上具有天然优势,用户打开频次高、停留时间长,能积累更多消费数据以优化算法 [87] 抖音崛起的关键成功因素 - 坚持不从头条导流用户,选择难而正确的独立起量路径 [46] - 建立独特的品牌调性,采用全黑UI等年轻化、高审美的品牌元素 [46] - 在内容池不足的早期阶段,依靠强大的内容运营和“精选标签”手动筛选优质内容,引导社区调性 [47][48] - 目标用户为年轻人,其兴趣广泛易于泛化,为后续内容扩展奠定基础 [66][67] - 采用单列分发器,相比双列具有极高的分发效率和内容泛化效率 [69][70][71] 关键业务决策与竞争战役 - 2018年至2020年,公司将社交视为战略重点,旨在增强用户长期留存和加速泛化,但最终未达预期 [24][25][27] - 2019年推出抖音极速版,对标快手极速版,两周内迅速增长至几千万DAU [87] - 2019年底至2020年初,将火山App更名为“抖音火山版” [87] - 2020年春节,为应对快手独家冠名春晚的竞争,公司发动集团力量,通过“集卡”红包活动为抖音导流,当晚DAU峰值达到4.7亿 [87] - 公司风格追求极致,在关键决策上投入巨大,如考虑将春节红包预算从20亿提升至100亿 [90] 组织文化与人才管理 - 公司文化高度扁平化,弱化层级头衔,鼓励基层员工与高层直接交流,创造了“祛魅”的环境 [101][102][103][104] - 早期非常信任年轻人,抖音团队中一半左右为校招生,为年轻人提供了巨大成长空间 [6][50][52][106] - 核心组织文化是公司早期竞争力的关键,但随着规模扩大,外部人才的引入稀释了原有文化内核 [108] - 公司强调“极致”的思维方式,不仅在行动上不顾一切解决问题,更在战略思考上追求倍增效应,逼问“如何增长五倍”以推动创新 [114][116][118][120] 行业观察与创业思考 - 移动互联网红利期后,给年轻人的高速成长机会减少,AI的出现被视为新的行业机遇 [59][60][63] - 创业成功需要完成从解决具体问题到进行战略选择和资源配置的认知转变 [126] - 创业应聚焦于“难而正确”的事,如产品定义、关键人才招募和资金规划,而非陷入事务性工作的“思维惰性” [130][134][135] - 应对大厂竞争的关键在于想清楚创业项目的长期价值、当前时间窗口以及如何快速验证产品市场匹配度 [138][139][140]
小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题
机器之心· 2025-10-20 12:50
小红书推荐系统技术实力获得国际认可 - 小红书推荐算法团队的论文在推荐系统顶会RecSys 2025上获得“最佳论文提名”,该奖项全球仅五篇,标志着其研究成果获得国际学术界与工业界的高度认可[4][6] - 会议期间,小红书展台异常火爆,许多来自北美等地的推荐系统专家用户对其推荐系统给出“业内领先”的高度评价[8][9] - 参会专家分享实际体验,从美国飞抵布拉格后,小红书APP能迅速推送精准的本地内容及同会议参与者的帖子,展现了其精准捕捉用户即时场景与身份的强大能力[9] 论文解决的行业核心难题与创新方案 - 论文瞄准推荐系统中至关重要的基础指标——用户观看时长进行建模,该指标与日活跃用户数高度相关,其信号在小红书视频场景中的覆盖率达100%[23][30] - 小红书业务规模庞大,月活跃用户数从2015年的5000万增长至2024年的3.5亿以上,推荐模型的微小改进会被放大为显著的体验和业务收益[22] - 团队提出的指数-高斯混合网络模型回归问题本质,首次系统性剖析并解决了用户观看行为分布中“粗粒度的偏态性”和“细粒度的多样性”两大长期存在的行业难题[30][31][36] EGMN模型的技术细节与优势 - EGMN模型核心是预测观看时长的完整概率分布参数,而非单一数值,其公式结合了捕捉“快速划走”行为的指数分布和刻画多样化观看模式的高斯混合分布[33][34][35] - 模型采用包含极大似然估计、熵正则化和回归损失的三目标联合优化策略,确保训练稳定且预测精准,被专家盛赞“有一种传统机器学习的美”[34][36] - 论文审稿人给出“Strong Accept”的整体评价,认为论文已非常出色,技术执行可靠,实验验证尤其在线A/B测试结果极具说服力[36][37] EGMN模型的实验验证与实际效果 - 在四个离线数据集上的实验表明,EGMN模型平均绝对误差相对降低14.11%,排序一致性指标相对提升7.76%,全面超越现有最优方法[39] - 在线A/B测试覆盖1500万用户,为期7天,结果显示平均绝对误差降低2.030%,排序一致性指标提升1.260%,关键指标KL散度大幅下降19.94%[40][41] - 消融实验验证了指数分量、高斯分量及各损失函数的有效性,例如移除指数分量会导致平均绝对误差增加3.06%,移除高斯分量则增加2.47%[42] 技术成果的业务影响与公司文化 - EGMN模型的有效性表明,引入合理的先验分布信息可提升现有目标的拟合精度,此通用思路可拓展至电商成交价格预估、广告GMV预估等多种业务场景[45] - 此次顶会成果体现了公司“回归本质”、“务实求真”的技术文化,即不盲从技术热点,而是以分析用户和场景的真实问题为锚点来设计技术演进路径[47] - 公司推荐算法团队正基于此次成功广纳贤才,共同探索推荐算法领域的前沿技术,标志着其技术探索之旅的新开始[47]
ICML spotlight | 一种会「进化」的合成数据!无需上传隐私,也能生成高质量垂域数据
机器之心· 2025-07-11 17:22
数据短缺问题 - 公共数据产生速度预计到2028年将赶不上大模型训练的消耗速度而被耗尽[1] - 医疗、工业制造等特殊领域可用数据原本就少,数据短缺问题更严重[1] 现有解决方案的局限性 - 垂直领域中小企业倾向于使用现成大模型API,但无法直接合成垂域数据[4][5] - 大模型生成的数据与垂域实际数据存在巨大差距,无法满足垂域特性需求[7][8] - 垂域数据因隐私、知识产权等原因不能上传,增加了prompt工程难度[9] PCEvolve框架核心创新 - 只需少量标注样本即可在保护隐私同时进化出整个数据集[2] - 采用类似达尔文进化论的迭代进化框架:生成候选数据→选择淘汰→下一轮进化[11] - 设计基于指数机制的新型隐私保护方法,适配垂域少样本场景[11] 技术实现细节 - 利用开源Encoder基座模型将数据映射到特征空间计算距离[16] - 通过寻找聚类中心代表标签所有私有数据来降低计算成本[16] - 提出相似度度量h(d_s^c,D_p)来优化合成数据与垂域数据的绝对距离[18] 实验验证结果 - 在COVIDx数据集上精度达64.04%,相比初始49.34%提升显著[23] - 在Came17数据集上精度达69.10%,相比初始50.47%提升显著[23] - 在KVASIR-f和MVAD-l数据集上也分别达到50.95%和59.26%的精度[23]
特想聊聊快手这次的变化
虎嗅· 2025-06-25 08:48
快手AI大模型推荐系统OneRec - 公司成为全球首个将AI大模型驱动的生成式推荐系统全量上线到产品的企业[1] - 系统采用端到端生成架构替代传统多阶段流水线模式,实现范式级创新[16] - 技术架构包含用户建模(Encoder)、推荐生成(Decoder)和强化学习奖励机制三大核心模块[17][18][19] 传统推荐系统痛点 - 分层筛选架构导致各环节目标冲突,系统一致性和效率持续恶化[9] - 算力利用率低下,精排模型在旗舰GPU上训练/推理利用率仅4.6%/11.2%[11] - 难以捕捉用户长期兴趣变化,容易陷入短期行为反馈循环[26][27] OneRec技术创新点 - 引入多模态语义分词器,实现对视频内容的多维度立体解析[21][22] - 通过深度神经网络统一建模用户静态特征与长短期行为,形成完整兴趣序列[28][30] - 采用MoE架构解码器动态生成推荐序列,专家网络协同提升模型容量与效率[34][36] - 强化学习全链路贯穿,通过偏好/格式/工业场景三类奖励机制优化推荐质量[40][41][42] 系统实测表现 - AB测试显示用户停留时长提升0.54%-1.24%,7日生命周期增长0.05%-0.08%[46] - 已承接短视频推荐主场景25%流量请求,交互指标全面改善[47] - 本地生活场景GMV提升21%,核心指标实现两位数增长并完成100%流量切换[48] 行业影响 - 标志着推荐系统进入大模型驱动的新阶段,解决传统架构与AI进展脱节问题[49] - 为行业提供首个工业级生成式推荐解决方案,确立技术领先地位[1][15] - 展示多模态理解与强化学习在复杂业务场景的落地可能性[20][38]
打破推荐系统「信息孤岛」!中科大与华为提出首个生成式多阶段统一框架,性能全面超越 SOTA
机器之心· 2025-06-20 18:37
传统推荐范式的痛点 - 传统推荐系统采用多阶段范式(召回、排序),导致阶段间信息损失、偏差累积和协作困难 [3] - 独立训练的各个阶段难以完整传递信息,潜在兴趣点被过早过滤 [3] 生成式AI的解决方案 - UniGRF框架将召回和排序整合到单一生成模型中,实现信息充分共享 [4][6] - 通过序列生成任务统一处理两大核心任务,保持模型通用性和可扩展性 [6][8] UniGRF的核心优势 - 参数共享减少信息损失,提升任务协作效率 [7] - 支持与主流生成模型架构(如HSTU、Llama)无缝集成 [8] - 单一模型在训练和推理上可能比独立模型更高效 [9] 关键技术模块 - 排序驱动的增强器:利用排序阶段高精度输出来优化召回阶段 [10][11] - 梯度引导的自适应加权器:动态调整任务权重实现同步优化 [12] 实验验证结果 - 在MovieLens-1M、MovieLens-20M、Amazon-Books数据集上性能显著超越SOTA基线 [14][18] - 排序阶段性能提升尤为明显,直接影响最终推荐质量 [18] - 模型参数扩展时符合Scaling Law,展现良好可扩展性 [18] 未来发展方向 - 计划扩展至更多推荐阶段(如预排序、重排) [16][17] - 探索工业场景大规模应用的可行性 [17]
推荐大模型来了?OneRec论文解读:端到端训练如何同时吃掉效果与成本
机器之心· 2025-06-19 17:30
核心观点 - 推荐系统正经历由大型语言模型(LLM)驱动的生成式革命,端到端架构成为解决传统级联架构瓶颈的关键[2] - 快手提出的OneRec系统首次实现端到端生成式推荐全链路重构,在效果与成本上实现双赢[2][8] - OneRec已在快手双端应用,承接25% QPS,提升停留时长0.54%/1.24%,LT7显著增长[2][33] 技术架构创新 - **架构设计**:采用Encoder-Decoder框架,将推荐转化为序列生成任务,Encoder压缩用户行为序列,MoE架构Decoder实现参数扩展[6][11] - **多模态分词**:首创协同感知方案,融合视频标题、标签、语音转文字等多维信息,分层语义编码(RQ-Kmeans三层ID)[13][14] - **强化学习整合**:通过P-Score奖励模型(个性化融合目标预测值)和ECPO优化算法,提升用户停留时长而不损失曝光量[19][22][25] 性能与效率突破 - **算力利用率**:训练/推理MFU提升至23.7%/28.8%,较传统精排模型(4.6%/11.2%)提升3-5倍[27][31] - **成本优化**:OPEX降至传统方案的10.6%,关键算子数量压缩92%至1,200个[27][31] - **训练加速**:自研SKAI系统优化Embedding训练,UGMMU减少kernel数量,时间加权LFU算法提升缓存效率[36] 实验效果 - **短视频场景**:AB测试显示停留时长提升0.54%/1.24%,LT7增长0.05%/0.08%,交互指标全面正向[33] - **本地生活场景**:GMV增长21.01%,订单量提升17.89%,新客获取效率提高23.02%,已100%全量上线[34] - **Scaling Law验证**:参数规模从0.015B增至2.633B时,训练损失显著下降,符合大模型扩展规律[15] 未来方向 - **多模态桥接**:需构建用户行为与LLM/VLM的原生融合架构[38] - **奖励系统完善**:当前设计较初级,需强化对用户偏好和业务需求的引导[38] - **推理能力提升**:Infer阶段Scaling能力不足,需进一步优化[38]
特征工程、模型结构、AIGC——大模型在推荐系统中的3大落地方向|文末赠书
AI前线· 2025-05-10 13:48
大模型在推荐系统中的应用 核心观点 - 大模型已在推荐系统领域实现实质性应用,头部公司获得显著收益,主要从知识学习、模型结构、内容生成三个层面改造推荐系统 [1][3] 大模型影响推荐系统的三个层次 知识学习方式变革 - 大模型通过开放式学习整合开放世界多模态知识(文本/图片/视频/音频),突破传统推荐系统依赖封闭式人工特征工程的局限 [4][7] - 大模型知识与传统推荐系统用户行为数据形成互补,结合后提升效果上限 [6][7] - 相比知识图谱方案(如RippleNet/KGAT),大模型在知识总量和Embedding质量上具备降维打击优势 [8] 推荐模型结构改造 - 生成式模型结构(如Transformer)替代传统分类/排序模型,Meta的GR方案使核心指标提升12.4% [24] - 新范式将推荐问题重构为"预测用户next token",快手KuaiFormer等方案应用于召回层改造 [26] - 工业级落地需算法-工程联合优化,如GR通过单次inference生成所有候选结果提升效率 [24] 个性化内容生成革命 - AIGC技术直接生成推荐内容(如广告创意/数字人视频),打破传统"检索-排序"流程 [28][37][39] - 当前阶段依赖人类Prompt输入(如Stable Diffusion框架),未来或实现全自动个性化生成 [31][41] - 个性化案例包括PMG模型生成用户偏好电影海报,但商业化仍需探索 [41] 技术方案细节 知识输入实现路径 - 开源模型(如LLaMA)作为多模态Encoder生成Embedding输入推荐系统 [10] - 闭源模型(如ChatGPT)通过API生成Token序列作为知识媒介 [10] - 快手EM3等方案融合多模态Embedding与ID特征,保留信息互补性 [15][18] 生成式推荐框架 - 早期玩具方案(如PALR)通过Prompt描述用户历史行为生成推荐,但工程指标落后 [20][22] - 成熟方案(如GR/KuaiFormer)将推荐任务转化为序列预测问题,复用LLM训练范式 [24][26] 行业趋势与建议 - 搜广推行业持续进化,大模型时代需聚焦算法-工程-模型联合创新 [45][46] - 突破点在于将大模型能力与现有业务深度结合,而非完全切换赛道 [45]
在“推荐就是一切”的时代
虎嗅· 2025-05-08 17:54
推荐系统行业现状 - 推荐系统已成为全球数字经济主要驱动力 类似蒸汽机推动工业革命[6] - Netflix将"一切皆为推荐"作为核心设计理念 所有内容展示均为算法个性化推荐[2] - TikTok推荐算法入选2021年MIT十大突破性技术 通过协同过滤实现精准推送[6][7] - 英伟达CEO黄仁勋称推荐系统是当代最重要AI系统 支撑搜索/广告/电商/内容等核心业务[6] 推荐算法技术特征 - 主要评价指标包括精准度/多样性/新颖性/惊喜性/可解释性/公平性[8] - TikTok算法突破在于打破"从众效应" 能挖掘用户小众兴趣领域[7] - 协同过滤和基于内容的推荐是主流技术路径 结合用户行为数据进行优化[7] - 系统通过用户历史行为/内容标签/互动指标等数据进行训练[7][12] 行业实践案例 - Netflix优化算法避免"热点偏差" 增加小众题材和多元文化内容[14] - Spotify推出"Fresh Finds"播放列表 专门扶持独立音乐人[14] - YouTube增加推荐解释功能 允许用户标记"不感兴趣"[14] - LinkedIn减少性别偏见 提供职位推荐原因说明[14] 行业挑战与解决方案 - 存在热点偏差问题 流行内容过度挤压小众创作者空间[11] - 可能强化性别/种族/地域等刻板印象 如女性被推荐低薪岗位[10] - 解决方案包括增加公平性约束/多样性平衡/透明度提升[12] - 2018年提出"负责任推荐"概念 建立FAccT(公平/问责/透明)原则[12][13] 未来发展趋势 - 从推荐引擎向自我发现引擎演进 促进用户自我认知[15][16] - 系统设计需融合三个要素:可靠选择/用户赋能/自我洞察[15][16][17] - 最终目标是通过机器协同实现"认识你的机器"的认知升级[18]
胡泳:在“推荐就是一切”的时代
腾讯研究院· 2025-05-08 16:43
推荐系统行业分析 行业现状与核心价值 - 推荐系统已成为数字经济核心驱动力,Netflix、Spotify、TikTok等平台通过个性化推荐重塑用户体验,Netflix界面设计完全围绕"一切皆为推荐"理念[3][7] - TikTok算法通过协同过滤和内容分析实现精准推送,视频推荐不受粉丝量影响,仅基于内容标签、用户行为等数据,使新人博主有机会快速崛起[7][8] - 行业领导者如英伟达CEO黄仁勋指出,推荐系统是当前最重要的AI应用,覆盖搜索、广告、电商、内容消费等核心场景[7] 技术指标与评价体系 - 推荐系统评价指标包括精准度、多样性、新颖性、惊喜性、可解释性及公平性,精准度衡量内容与用户兴趣匹配度,多样性避免推荐同质化[9] - TikTok算法因满足用户对新奇性需求获评《麻省理工科技评论》"全球十大突破性技术",突破传统"从众效应"[8] - 热点偏差(popularity bias)问题显著,如YouTube倾向推荐大V内容,音乐平台偏好流行歌手,导致小众创作者曝光不足[12] 公平性挑战与解决方案 - 算法偏见体现在性别(LinkedIn职位推荐)、地域(电商价格差异)、文化(西方内容主导)等多维度,2012年起学术界持续关注此问题[10][11] - 2019年研究揭示热点偏差机制,流行内容垄断流量资源,解决方案包括加入公平性约束、提升多样性、定期检测算法偏见[12][13] - 2018年提出"负责任推荐"(FAccTRec)框架,强调消除系统性偏见、增强透明度(如YouTube允许标记"不感兴趣")、建立问责机制[14][15] 企业实践与创新方向 - Netflix优化算法覆盖小众题材和多元文化内容,Spotify推出"Fresh Finds"扶持独立音乐人,LinkedIn减少性别偏见并提供推荐原因解释[17] - 推荐系统正向"自我发现引擎"演进,通过数据收集、算法创新和网络效应形成良性循环,用户行为反馈进一步优化推荐相关性[19][20] - 未来趋势包括赋能用户探索(如社交分享推荐内容)、增强自我认知(通过推荐内容反推用户兴趣图谱)、机器与人类协同进化[20][21]