Workflow
循环神经网络(RNN)
icon
搜索文档
AI+HI系列:DecompGRNv1:基于线性RNN的端到端模型初探
华创证券· 2025-09-05 16:12
量化模型与构建方式 1. 模型名称:RNN-LIN - 模型构建思路:基于线性RNN构建的简化时序模型,移除非线性激活函数以提升训练效率并减少参数量[11][12] - 模型具体构建过程: 输入序列为股票日频特征(高、开、低、收、均价、成交量)的150日时序数据[23] 模型结构包含遗忘门和输出门,使用sigmoid激活函数控制门控值在(0,1)范围内,隐状态迭代时不使用非线性激活函数[20] 具体计算公式如下: $$h_{t}=f_{t}\otimes h_{t-1}+(1-f_{t})\otimes c_{t}$$ $$y_{t}=o_{t}\otimes h_{t}$$ $$f_{t}=Sigmoid(x_{t}W_{f})$$ $$o_{t}=Sigmoid(x_{t}W_{o})$$ $$c_{t}=SiLU(x_{t}W_{c})$$ 其中$h_t$表示隐状态,$y_t$表示输出,$f_t$为遗忘门,$o_t$为输出门,$c_t$为候选状态,$W_f$、$W_o$、$W_c$为可学习参数矩阵[20] 参数量相比GRU模型减少约50%[20] - 模型评价:训练效率优于GRU,但性能略逊于GRU基线模型[22][47] 2. 模型名称:RNN-LIN-GLU - 模型构建思路:在线性RNN基础上耦合门控线性单元(GLU)以提升模型表达能力[21][22] - 模型具体构建过程: 在RNN-LIN层后叠加GLU FFN模块组成block[21] GLU FFN的计算公式为: $$FFNSwiGLU(x,W,V,W_{2})=(Swish(xW)\otimes xV)W_{2}$$ 其中$W$、$V$、$W_2$为可学习参数矩阵[21] 其他构建过程与RNN-LIN相同[21] - 模型评价:GLU模块对RNN-LIN的性能提升效果优于对GRU的提升[45] 3. 模型名称:DecompGRN - 模型构建思路:基于线性RNN改进的时序-截面端到端模型,将截面信息直接整合进RNN门控单元[2][49] - 模型具体构建过程: 采用两层RNN结构[50] 第一层线性RNN输出每个时间步的个股表征,使用市值作为分组特征进行20分组,计算股票分组去均值结果,得到包含截面信息的个股表征[50] 第二层构建线性RNN变体,将截面信息和时序融合共同输入遗忘门和输出门[50] 使用时序趋势分解模块将初始输入拆分为趋势与残差分量[89] 趋势分量输入1D卷积+RNN实现时序编码,残差分支使用深度可分离卷积[94][95] 最终将趋势和残差分支结果相加合并,输入第二个时序RNN编码器,取最后一个时间步输出通过线性预测头得到股票得分[96] 参数量仅为GRU基线模型的43%[74] - 模型评价:性能超越基线GRU模型,模型逻辑与参数量实现双重简化[2][74] 模型的回测效果 1. RNN-LIN模型 - 中证全指:RankIC 0.13,RankICIR 1.08,IC胜率 0.88[37] - 沪深300:RankIC 0.10,RankICIR 0.62,IC胜率 0.74[37] - 中证500:RankIC 0.09,RankICIR 0.71,IC胜率 0.78[37] - 中证1000:RankIC 0.12,RankICIR 0.96,IC胜率 0.86[37] 2. RNN-LIN-GLU模型 - 中证全指:RankIC 0.13,RankICIR 1.14,IC胜率 0.89[37] - 沪深300:RankIC 0.10,RankICIR 0.63,IC胜率 0.73[37] - 中证500:RankIC 0.10,RankICIR 0.74,IC胜率 0.79[37] - 中证1000:RankIC 0.12,RankICIR 1.01,IC胜率 0.87[37] 3. DecompGRN模型 - 中证全指:RankIC 0.141,RankICIR 1.26,IC胜率 0.89[55][89] - 沪深300:RankIC 0.099,RankICIR 0.65,IC胜率 0.74[55][89] - 中证500:RankIC 0.098,RankICIR 0.77,IC胜率 0.78[55][89] - 中证1000:RankIC 0.127,RankICIR 1.08,IC胜率 0.88[55][89] 量化因子与构建方式 (报告中未明确提及独立的量化因子构建,主要关注端到端模型) 因子的回测效果 (报告中未提供独立因子的测试结果) 分组测试绩效统计 1. RNN-LIN模型(层数1) - 中证全指:年化收益率42.59%,夏普比率1.46,最大回撤-36.71%,超额年化42.05%,平均单边换手0.81[42] - 沪深300:年化收益率28.59%,夏普比率1.38,最大回撤-22.09%,超额年化28.67%,平均单边换手0.66[42] - 中证500:年化收益率23.68%,夏普比率1.02,最大回撤-34.63%,超额年化23.95%,平均单边换手0.76[42] - 中证1000:年化收益率32.81%,夏普比率1.20,最大回撤-35.43%,超额年化33.72%,平均单边换手0.77[42] 2. RNN-LIN-GLU模型(层数1) - 中证全指:年化收益率48.73%,夏普比率1.60,最大回撤-35.33%,超额年化48.19%,平均单边换手0.81[42] - 沪深300:年化收益率29.92%,夏普比率1.38,最大回撤-23.62%,超额年化30.00%,平均单边换手0.65[42] - 中证500:年化收益率24.45%,夏普比率1.03,最大回撤-39.60%,超额年化24.72%,平均单边换手0.75[42] - 中证1000:年化收益率34.47%,夏普比率1.24,最大回撤-34.51%,超额年化35.38%,平均单边换手0.76[42] 3. DecompGRN模型 - 中证全指:年化收益率57.68%,夏普比率1.71,最大回撤-34.69%,超额年化56.18%,平均单边换手0.79[57][89] - 沪深300:年化收益率31.69%,夏普比率1.42,最大回撤-26.88%,超额年化31.00%,平均单边换手0.65[57][89] - 中证500:年化收益率26.90%,夏普比率1.10,最大回撤-37.82%,超额年化26.13%,平均单边换手0.74[57][89] - 中证1000:年化收益率40.35%,夏普比率1.37,最大回撤-35.51%,超额年化40.03%,平均单边换手0.74[57][89] 指增组合测试结果 DecompGRN模型指增表现 - 沪深300指增:年化超额收益10.24%,跟踪误差5.07,超额夏普1.95,超额最大回撤-8.12%,2025年累计超额3.93%[75][85][89] - 中证500指增:年化超额收益10.05%,跟踪误差6.10,超额夏普1.60,超额最大回撤-7.15%,2025年累计超额6.72%[75][85][89] - 中证1000指增:年化超额收益19.58%,跟踪误差6.75,超额夏普2.68,超额最大回撤-9.11%,2025年累计超额18.26%[75][85][89]
卡帕西预言成真!华人团队开源全AI操作系统:神经网络模拟Windows,预测下一帧屏幕图像
量子位· 2025-07-15 14:28
核心观点 - 由神经网络驱动的操作系统NeuralOS实现实时预测和渲染图形界面,模拟Windows操作系统的行为 [1][2][6] - 该系统基于RNN和渲染器两大模块,能够跟踪计算机状态变化并生成对应的屏幕画面 [7][8] - 未来GUI可能演变为个性化、动态生成的2D交互画布,颠覆传统固定界面模式 [4][37] 技术实现 - **核心架构**:RNN负责状态跟踪,渲染器根据状态和操作生成画面,形成闭环系统 [7][8] - **训练数据**:使用Ubuntu XFCE系统的操作录像,包括随机交互和AI Agent模拟的真实操作 [10][11] - **训练流程**:分阶段进行RNN预训练、联合训练、计划采样和上下文序列扩展,最终实现帧预测能力 [11] 性能表现 - **优势**:画面逼真度接近真实系统,鼠标响应精准,状态转换稳定(如应用启动、窗口切换) [15] - **局限**:键盘输入处理不足,快速打字时可能出现延迟或字母顺序错乱 [14] - **测试结果**:模型预测准确性较高(主对角线高亮),但存在少量状态混淆 [14] 团队与背景 - **主要成员**:5人团队中4位为华人学者,包括滑铁卢大学和加拿大国家研究委员会的研究人员 [17][19][21][23][27][29] - **学术背景**:成员研究方向覆盖NLP、机器学习、深度学习应用,部分成员在顶会发表论文且引用量达5000+ [22][25][27][30] - **行业合作**:团队成员与英伟达、Google Deepmind等企业有合作或兼职关系 [28][29] 应用与展望 - **当前形态**:提供在线演示版本,需H100显卡支持运行,用户操作过多导致系统负载较高 [32][35] - **开源优化**:代码开源后有望提升性能,未来或实现更高效的动态界面生成 [36] - **潜在方向**:探索生成式神经接口在下一代人机交互系统中的落地场景 [6][37]