• Transformer模型已经被广泛应用于股票收益预测并输出因子，最 初由Vaswani等人在2017年的论文《Attention is All You Need》 中提出，其核心特点是全面依赖于注意力机制，并行学习序列的不 同子空间，这种机制可以让模型从不同角度理解数据的同时，大大 提高训练效率。 证券研究报告 * 请务必阅读最后一页免责声明 • 首先，将原始Transformer中的多头注意力块用一组前馈网络（FFNs）替代单个FFN，每 个FFN分别对应多头注意力层输出中的一个头。这样可以保持从多个同时市场资产序列中 学到的时间模式的多样性，增强特征解耦能力，能够在不增加模型参数的情况下更好地处 理多样化的时间序列模式，提高模型的表达能力和鲁棒性。 证券研究报告 * 请务必阅读最后一页免责声明 • 随后，作者利用第二个Transformer网络对股票量价的协方差矩阵和技术指标输入Transformer的编码器（Encoder中），捕捉不同 股票之间的动态相关性，输出相关状态（Relational State）。随后将股票技术面指标与编码器的输出输入解码器，输出对于股票收 益的预测状态(predict ...