研究背景与演进 - 推荐系统技术经历了从“静态预测”到“动态决策”，再到“认知协同”的阶段性跃迁，其核心驱动力从简单匹配机制升级为具备环境适应能力的决策引擎，并进一步迈向融合世界知识与推理能力的智能协同体系 [6] - 传统强化学习推荐系统将推荐建模为序列决策过程，以优化长期效益，但受困于状态建模难、动作空间大、奖励设计复杂、反馈稀疏延迟及模拟环境失真等瓶颈 [2] - 大语言模型的崛起为推荐系统带来新机遇，其凭借常识储备、推理能力和语义天赋，不仅能让智能体更懂用户，还能充当高保真的环境模拟器 [2] - LLM与RL的结合开启了LLM-RL协同推荐系统新范式，推动推荐过程从低维、被动的决策，进化为高维、具备认知能力的深度交互 [8] LLM带来的核心机遇与变化 - LLM的引入是对推荐本质的一次重塑，在表征空间、智能体定位、环境建模与交互范式四大维度上带来质变 [8] - 在表征空间上，从“稀疏的ID”转向“丰富的语义” [11] - 在智能体定位上，从“固化模型”转向“智能动态决策者” [11] - 在环境建模上，从“黑盒模拟”转向“高保真仿真” [11] - 在交互范式上，从“单向推送隐式反馈”转向“双向共建灵活交互” [11] LLM-RL协同范式 - LLM以深度融合、广泛参与的方式融入强化学习流程的诸多环节，推荐系统架构从“智能体-环境”二元范式，演进为由多个LLM增强的功能模块共同构成的协同框架 [10] - 在智能体侧，LLM可以扮演多重角色：作为策略（Policy）担任核心决策模块；作为推理器（Reasoner）进行综合分析；作为表示器（Representer）转化数据为高维语义特征；作为解释器（Explainer）生成推荐解释 [13][17] - LLM在智能体侧正进化为高层控制器，可以是策略规划师、决策顾问或评估反思者 [17] - 在环境侧，LLM主要扮演模拟器（Simulator）角色，生成更丰富的奖励信号与交互反馈，解决真实环境测试成本高、风险大的痛点，部分基于LLM的模拟器具备可训练、可优化的能力 [14] - 在环境侧，LLM还扮演着奖励塑形器、状态表征器与仿真推理器等角色 [17] 评估体系框架 - 评估体系从任务、数据集、评估策略及指标四个关键维度构建标准化协议 [15] - 任务形式主要包括序列推荐、交互式推荐、对话式推荐、点击率预测、评分预测及其他领域任务（如岗位推荐、医疗推荐等） [16][18][23] - 任务目标涵盖准确性、可解释性、新颖性、多样性、安全性及无偏性 [19][23] - 当前研究使用的数据集呈现“头部集中、长尾分布”的特征，传统推荐数据集（如Amazon Review、MovieLens）是绝大多数研究的首选，工业级数据集（如Taobao、KuaiRec）的使用比例正在上升 [20][24] - 评估策略主要包括离线评估、在线评估和仿真评估，其中离线评估是目前最主流的方式 [21][24] - 评估指标分为推荐导向指标和语言导向指标，推荐导向指标包括输出型指标（如NDCG、HR、RMSE、AUC等）和过程型指标（如累计奖励），语言导向指标包括客观指标（如BLEU、ROUGE）和主观指标 [22][24] 关键挑战与未来方向 - 算法去偏面临“LLM固有偏差”与“RL累积偏差”的双重压力，未来方向是从传统的单一模块去偏，转向系统级治理，建立偏见溯源机制 [26][28] - 隐私与安全方面，LLM强大的语义推理能力可能导致敏感信息被泄露或过度推断，未来方向是实现“安全对齐”，结合隐私计算与强化学习，构建更具防御性的智能体 [26][28] - 计算效率方面，LLM的巨量参数和RL的高频交互存在效率矛盾，导致推理延迟高、训练成本大，未来方向是开发更轻量化的协同框架，例如采用参数高效微调、多智能体协作以及优化采样策略 [26][28] - 幻觉治理方面，LLM生成的虚假或逻辑不一致的输出会误导RL策略，未来方向是引入“过程监督”与“不确定性感知”，对思维链进行事实核查，并赋予系统识别自身知识边界的能力 [26][28] 行业影响与展望 - LLM-RL协同推荐系统揭示了推荐系统从“自动化”向“智能化”跨越的清晰路径，在“双动力”时代，强化学习提供稳定的决策框架，大模型注入更强的认知能力 [29] - 推荐系统正从效率工具走向智能伙伴，变得更加有温度，也更加有深度 [29] - 研究正从学术基准向真实大规模系统迁移，工业级数据集的使用比例正在上升 [20]