会议概况 - 第十九届全国期货（期权）实盘交易大赛暨第十二届全球衍生品实盘交易大赛颁奖大会将于11月15日在西安举行 [1] - 会议吸引全国报名者，旨在提供学习知识、拓展人脉、探寻破局之道的平台 [1] - 会议承载嘉奖优秀交易者及进行经验传承与智慧碰撞的多重使命 [1] 参会者动机与挑战 - 交易者反映今年市场波动较大且节奏变化快，以往熟悉的交易模式不再奏效，决策充满挑战 [1] - 参会者期待结识同行、听取专家对未来趋势的分析预测及剧烈波动中实现稳定盈利的交易策略分享 [1] - 作为行业新手的钢贸商希望通过会议向高手学习先进风控理念和交易系统以弥补自身不足 [1] 行业专家观点 - 颁奖大会是行业精英的荣耀殿堂，也是投资者突破认知边界、获取实战智慧的高效平台 [2] - 个人投资者需聚焦策略优化与风险控制，企业需深化产融结合、布局绿色金融，私募机构需通过科技赋能提升竞争力 [2] - 面对2025年复杂多变的市场环境，投资者需以“敬畏风险、持续进化”为核心理念在波动中把握机会 [2] - 投资者可利用“赢家在线”App等平台的账户评估功能分析自身交易行为偏差，如过度交易或扛单习惯 [2] 市场发展趋势 - 随着期货市场蓬勃发展，专业性和产业背景成为在实盘大赛中胜出的关键 [2] - 近年来越来越多具有专业素养和现货经验的选手在实盘大赛中脱颖而出，其成功源于专业知识与实践经验的深度融合 [2] - 在当今复杂市场环境下，唯有将专业知识与实践经验深度融合才能在期货交易中立于不败之地 [2]

强化学习技术范式演进 - 业界从端到端自动驾驶转向VLA和强化学习等新技术范式 [4] - 强化学习在2018年AlphaZero和2023年ChatGPT RLHF推动下获得更广泛应用潜力 [4] - 2025年初DeepSeek-R1在线推理进一步拓展强化学习使用场景 [4] 学习范式对比 - 监督式学习通过海量数据拟合输入到输出的映射函数 优化目标为平均均方误差值 [5] - 模仿学习以专家动作为监督信号进行行为克隆 在自动驾驶中扩展为短时序轨迹学习 [6] - 强化学习通过环境交互和任务结果反馈优化模型 采用延迟满足的时序决策机制 [7] - 逆强化学习通过用户反馈学习reward-model 解决奖励函数难以定义的问题 [8] 基础理论框架 - 马尔可夫决策过程将时序任务分解为状态概率转移任务 适用于自动驾驶目标生命周期管理 [10] - 动态规划通过分解最优子问题解决离散空间时序任务 [12] - 蒙特卡洛方法利用大数原理统计系统宏观特性 [13] 核心概念体系 - 策略分为确定性和随机性两种 自动驾驶通常采用确定性策略 [14] - 奖励函数提供环境反馈 价值回报定义为衰减因子加权和的时序期望值 [15] - 状态价值函数表示状态期望回报 动作价值函数评估状态动作组合的期望回报 [16][17] - 优势函数衡量动作价值与状态价值的差异 [19] - 贝尔曼方程通过动态规划分解价值函数 [20] 算法分类体系 - 值优化方法直接最大化Q或V函数 包括动态规划/蒙特卡洛/时序差分算法 [25][26] - 策略优化分为on-policy和off-policy两种 后者训练稳定性更好但存在分布偏差 [27][28] - 动态规划采用策略迭代和价值迭代算法求解离散任务 [30] - 蒙特卡洛方法通过统计平均估计价值函数 [32] - 时序差分算法引入常数alpha简化更新过程 衍生出SARSA和Q-learning等算法 [34][39] 深度强化学习算法 - DQN算法通过经验回放和目标网络解决连续状态表达问题 [41] - Dueling DQN将价值网络分解为Q和A的和并增加正则项 [42] - GAE算法结合蒙特卡洛和时序差分进行优势估计 [42] - 策略梯度算法使用梯度下降方式更新策略参数 [46] - Actor-Critic算法同时学习策略和价值函数 [49] - TRPO算法通过置信区间约束保证训练稳定性 [53] - PPO算法简化TRPO约束条件为clip函数 [55] - GRPO算法采用在线group样本统计平均替换value-model [57] 自动驾驶应用实践 - 预训练通过模仿学习任务初始化策略和价值网络 [58] - 策略梯度采用概率建模方法处理action输出 [59] - reward设计涵盖安全性/安心感/效率等指标 高级功能通过逆强化学习实现 [60] - 闭环训练需要多智能体博弈建模环境动态响应 [60] - 端到端强化学习需实时生成更新后的sensor内容 [61]