Workflow
排序学习对GRU选股模型的增强
国金证券·2024-08-21 00:01

量化模型与构建方式 1. 模型名称:结合注意力机制的GRU - 模型构建思路:将注意力机制改为特征层面的权重分配,与GRU结合[1][10] - 模型具体构建过程: - 在编码器部分,定义一个注意力机制捕捉不同时期的主要贡献特征[12] - 在解码器中,定义一个时序注意力机制针对不同的时间步上的编码信息进行权重再分配[12] - 公式: etk=veTtanh(We[ht1;st1]+Uexk) e_{t}^{k}=v_{e}^{T}\mathrm{tanh}(W_{e}[h_{t-1};s_{t-1}]+U_{e}x^{k}) αtk=exp(etk)i=1nexp(eti) \alpha_{t}^{k}=\frac{\exp(e_{t}^{k})}{\sum_{i=1}^{n}\exp(e_{t}^{i})} x~t=(αt1xt1,αt2xt2,,αtnxtn)T {\tilde{x}}_{t}=(\alpha_{t}^{1}x_{t}^{1},\alpha_{t}^{2}x_{t}^{2},\dots,\alpha_{t}^{n}x_{t}^{n})^{T} ht=f1(ht1,x~t) h_{t}=f_{1}(h_{t-1},\tilde{x}_{t}) ct=i=1Tβtihi c_{t}=\sum_{i=1}^{T}\beta_{t}^{i}h_{i} y~t1=wT[yt1;ct1]+b~ \tilde{y}_{t-1}=w^{T}[y_{t-1};c_{t-1}]+\tilde{b} dt=f2(dt1,y~t1) d_{t}=f_{2}(d_{t-1},\tilde{y}_{t-1}) - 模型评价:在绝大部分指标上超越原本GRU模型[1][10] 2. 模型名称:排序学习 - 模型构建思路:参考推荐系统和搜索引擎中的排序学习思想,使用ListWise和PairWise两大类排序学习损失函数[2][21] - 模型具体构建过程: - 使用Hinge Loss、Logistic Loss、NDCG等损失函数进行训练[23][24][25][28][30] - 公式: l(s,y)=yi>yjmax(0,1(sisj)) \operatorname{l}(s,y)=\sum_{y_{i}>y_{j}}\operatorname*{max}(0,1-\left(s_{i}-s_{j}\right)) l(s,y)=yi>yjlog2(1+eσ(sisj)) \mathrm{l}(s,y)=\sum_{y_{i}>y_{j}}\log_{2}(1+e^{-\sigma(s_{i}-s_{j})}) DCG(ωˉk(π,1)=j=1G(lπ1(j))η(j) \mathrm{DCG}(\bar{\omega}\mathrm{k}(\pi,1)=\sum_{j=1}G(l_{\pi^{-1}(j)})\eta(j) NDCG@k(π,l)=1IDCGj=1G(lπ1(j))η(j) \mathrm{NDCG}@{\mathrm{k(\pi,l)}}=\frac{1}{I D C G}\sum_{j=1}G(l_{\pi^{-1}(j)})\eta(j) λij=11+exp ⁣(sisj)ΔZij \lambda_{i j}=-\frac{1}{1+\exp\!\left(s_{i}-s_{j}\right)}*\left|\Delta Z_{i j}\right| 1(s,y)=injnlog2(11+eσ(sπisπj))GπiDi 1(s,y)=-\sum_{i}^{n}\sum_{j}^{n}l o g_{2}\,(\frac{1}{1+e^{-\sigma(s_{\pi i}-s_{\pi j})}})^{\frac{G_{\pi i}}{D_{i}}} L(f;x,Ωy)=D(Py(Π)P(Π(f(w,x))) \operatorname{L}(f;x,\Omega_{y})=\operatorname{D}(P_{y}(\Pi)||P(\Pi|(f(w,x))) - 模型评价:部分损失函数能提升多头组合表现,且部分因子相较于传统MSE回归模型有一定提升效果[2][21] 3. 模型名称:多轮参数对抗过拟合 - 模型构建思路:使用早停后验证集表现最优的5轮结果进行预测并取均值[3][46] - 模型具体构建过程: - 提取表现最好的N个epoch所得模型参数,并通过取均值的方式避免过拟合[51] - 公式: y~t1=wT[yt1;ct1]+b~ \tilde{y}_{t-1}=w^{T}[y_{t-1};c_{t-1}]+\tilde{b} dt=f2(dt1,y~t1) d_{t}=f_{2}(d_{t-1},\tilde{y}_{t-1}) - 模型评价:在样本外地稳健性更好[3][46] 模型的回测效果 - 结合注意力机制的GRU模型: - IC均值:14.53%[20] - 多头信息比率:2.75[20] - 多空夏普比率:4.29[20] - 多头年化超额收益率:17.24%[20] - 多空年化收益率:44.48%[20] - 多空最大回撤:16.48%[20] - 排序学习模型: - IC均值:13.82%[2] - 多头信息比率:2.98[2] - 多头年化超额收益率:19.69%[2] - 多空年化收益率:58.51%[2] - 多空最大回撤:15.15%[2] - 多轮参数对抗过拟合模型: - IC均值:14.34%[52] - 多头信息比率:2.77[52] - 多头年化超额收益率:18.53%[52] - 多空年化收益率:60.13%[52] - 多空最大回撤:14.93%[52] 量化因子与构建方式 1. 因子名称:AGRU - 因子的构建思路:结合注意力机制与GRU[1][10] - 因子具体构建过程: - 使用注意力机制进行特征重要性的采样,结合多步GRU后得到最终预测结果[19] - 公式: etk=veTtanh(We[ht1;st1]+Uexk) e_{t}^{k}=v_{e}^{T}\mathrm{tanh}(W_{e}[h_{t-1};s_{t-1}]+U_{e}x^{k}) αtk=exp(etk)i=1nexp(eti) \alpha_{t}^{k}=\frac{\exp(e_{t}^{k})}{\sum_{i=1}^{n}\exp(e_{t}^{i})} x~t=(αt1xt1,αt2xt2,,αtnxtn)T {\tilde{x}}_{t}=(\alpha_{t}^{1}x_{t}^{1},\alpha_{t}^{2}x_{t}^{2},\dots,\alpha_{t}^{n}x_{t}^{n})^{T} ht=f1(ht1,x~t) h_{t}=f_{1}(h_{t-1},\tilde{x}_{t}) ct=i=1Tβtihi c_{t}=\sum_{i=1}^{T}\beta_{t}^{i}h_{i} y~t1=wT[yt1;ct1]+b~ \tilde{y}_{t-1}=w^{T}[y_{t-1};c_{t-1}]+\tilde{b} dt=f2(dt1,y~t1) d_{t}=f_{2}(d_{t-1},\tilde{y}_{t-1}) - 因子评价:在绝大部分指标上超越原本GRU模型[1][10] 因子的回测效果 - AGRU因子: - IC均值:14.53%[20] - 多头信息比率:2.75[20] - 多空夏普比率:4.29[20] - 多头年化超额收益率:17.24%[20] - 多空年化收益率:44.48%[20] - 多空最大回撤:16.48%[20]