推荐系统发展趋势 - 生成式推荐范式HSTU将推荐参数扩展至万亿级别，验证了推荐领域的扩展定律，成为颠覆当前推荐系统的新范式[1][5] - 推荐系统发展经历四个阶段：手工设计特征和简单模型→复杂深度学习模型→重新关注特征工程→基于大语言模型扩展定律的生成式推荐大模型[4][5] - 扩展定律描述模型性能与参数规模、数据集规模和训练资源之间的幂律关系，通过增加模型深度和宽度可提升推荐效果[5] 生成式推荐模型架构对比 - 在ML-1M、ML-20M和AMZ-Books数据集上测试HSTU、Llama、GPT和SASRec四种架构，小参数时各架构表现相似，大参数时HSTU和Llama扩展性显著优于GPT和SASRec[7] - HSTU在16模块时ML-20M数据集HR@10达0.3520，NDCG@10达0.2079，MRR达0.1787，显著优于其他架构[8] - GPT在推荐任务表现未达预期，因其架构缺乏专为推荐设计的关键组件[7] 可扩展性来源分析 - 消融实验显示相对注意力偏移（RAB）是关键组件，移除后HSTU性能明显下降（32模块HR@10从0.3298降至0.3149）[9][10] - 为SASRec同时引入HSTU的RAB和调整残差连接后，其扩展性显著改善（32模块HR@10从0.0301提升至0.3182）[11][12] - 残差连接模式与RAB的结合是传统推荐模型获得扩展性的关键因素[11] 复杂场景与排序任务表现 - HSTU在多域联合训练中表现优于单域独立训练，在Digital Music和Video Games等小规模场景扩展性显著[13] - 排序任务中HSTU在ML-20M数据集32模块时AUC达0.7914，优于DIN的0.7247和Llama的0.7107[14][15] - 缩减embedding维度提升小数据集性能（ML-1M和AMZ-Books），但降低大数据集ML-20M性能[17] 技术突破与行业应用 - 中科大与华为合作开发推荐大模型部署方案，首次在国产昇腾NPU上成功部署[2] - Meta提出的HSTU框架引发生成式推荐大模型研究热潮，参数规模达万亿级别[1][5] - 未来研究方向包括数据工程、Tokenizer优化和训练推理效率提升[18]