长短期记忆网络(LSTM)
搜索文档
LSTM之父Jürgen再突破,「赫胥黎-哥德尔机」让AI学会自己进化
机器之心· 2025-10-28 14:29
文章核心观点 - 研究提出了一种名为赫胥黎-哥德尔机的新型自我改进人工智能体,其核心创新在于通过谱系元生产力指标来近似实现理论上的哥德尔机,有效解决了短期性能与长期自我改进潜力之间的脱节问题 [1][6][10] - 该机器在SWE-bench和Polyglot等软件工程基准测试中,不仅超越了现有的自我改进编程方法,而且达到了与最佳人工设计智能体相当的人类水平表现,同时展现出更高的计算效率和强大的跨模型泛化能力 [7][32][35][37] 理论基础与模型演进 - 哥德尔机是一种理论上的通用任务求解器,能通过形式证明来最优地执行自我改进,但其实现受限于实际资源消耗和单次生命等现实约束 [11][12] - 赫胥黎-哥德尔机是哥德尔机的一种实践近似,其核心思想是利用元生产力来衡量智能体提升自我改进能力的潜力,并通过估计谱系元生产力来指导搜索 [10][17][20] 核心创新:谱系元生产力 - 研究发现了“元生产力-性能不匹配”现象,即智能体当前的基准测试性能与其真正的自我改进潜力之间存在脱节 [4][20] - 提出了谱系元生产力指标,通过聚合一个智能体所有后代的性能来衡量其长期潜力,而非仅看其自身分数 [4][18] - HGM的CMP估计量与真实CMP的相关性显著更强,在SWE-Verified-60和Polyglot上的加权相关系数分别达到0.778和0.626,远超对比方法SICA和DGM [27][31] 算法框架与策略 - HGM框架包含三个子策略:扩展策略、评估策略和选择策略 [21][24] - 扩展策略使用谱系中智能体经验性能的加权平均值来估计CMP,为效用更高的智能体分配更大权重 [22] - 评估策略优先选择得分更高的智能体,选择策略则借鉴无限臂赌博机思想,平衡探索新智能体与利用已知智能体 [24][25][30] 性能表现与效率 - 在SWE-Verified-60基准测试中,HGM发现的智能体取得56.7%的最高准确率,在Polyglot基准测试中以30.5%的准确率领先 [34][36] - HGM展现出极高的计算效率,在Polyglot上比DGM快6.86倍,比SICA快1.65倍;在SWE-Verified-60上比DGM快2.38倍 [33][34][36] - HGM仅消耗517小时CPU时间即在SWE-Verified-60上取得最佳性能,远低于DGM的1231小时 [34] 泛化能力与人类水平表现 - HGM发现的智能体在SWE-Lite基准测试的过滤集和标准集上分别取得40.1%和49.0%的准确率,优于其初始版本的34.8%和44.0% [35][37] - 当骨干模型从GPT-5-mini替换为GPT-5时,该智能体在SWE-Lite标准集上取得57%的准确率,与排行榜上最佳人工设计智能体SWE-agent的56.7%相当 [37][39] - 在官方SWE-Bench Lite排行榜上,HGM智能体的性能超越了所有其他经过官方结果验证的智能体,在筛选测试集上仅比最佳模型少解决一个任务 [40]
Yoshua Bengio,刚刚成为全球首个百万引用科学家!
机器之心· 2025-10-25 13:14
文章核心观点 - Yoshua Bengio成为Google Scholar上首位引用量超过100万的计算机科学家,其引用量达1,000,244次,这标志着人工智能领域从理论走向现实的二十年发展历程[1][7][48] - Bengio的学术成就与AI技术的发展曲线高度重合,其百万次引用是对AI改变世界的波澜壮阔历史的铭刻[5][7] - 作为深度学习领域的奠基人之一,Bengio在推动技术进步的同时,也积极承担社会责任,成为AI伦理与安全的重要倡导者[8][18][47] 学术成就与引用数据 - Yoshua Bengio的Google Scholar总引用量为1,000,244次,其中自2020年以来的引用量为723,853次,h-index为251,i10-index为977[1] - 其引用量最高的论文《Generative Adversarial Nets》被引104,225次,与Hinton、LeCun合著的《Deep learning》被引103,249次,两篇论文合计贡献了其总引用量的五分之一以上[1][21][33] - 引用量超过1万次的论文或著作有19篇,超过1000次的有96篇[21][34] - 深度学习“三巨头”中,Geoffrey Hinton和Yann LeCun的引用量分别为972,453次和约43万次[2][3] 关键技术贡献 - 2014年与Ian Goodfellow等人共同提出生成对抗网络,通过生成器与判别器的对抗训练框架开创了生成式AI的重要分支[24][25] - 2003年发表《A Neural Probabilistic Language Model》,首次引入“词嵌入”概念,为现代语言模型如BERT、GPT奠定基础[18] - 1997年与合作者引入长短期记忆网络,提升了神经网络处理序列数据的能力,为自然语言处理革命奠定了基础[18] - 2009年发表《Learning Deep Architectures for AI》,系统阐述深度学习理论,为训练更深层网络铺平道路[18][34] 行业影响与地位 - 与Geoffrey Hinton、Yann LeCun共同获得2018年图灵奖,被誉为“深度学习三巨头”,推动了AI技术从边缘走向世界中心的爆发[8][45] - 选择扎根蒙特利尔而非加入硅谷巨头,领导蒙特利尔学习算法研究所成为全球领先的AI研究机构,将蒙特利尔打造成全球AI中枢[16][17] - 其学术引用增长曲线与AI技术爆发曲线完美重合,百万次引用成为AI领域发展的里程碑事件[5][7] 当前研究动态与社会责任 - 现年61岁仍持续以第一作者身份发表研究,2025年在Science发表《Illusions of AI consciousness》并领导撰写AI安全国际报告[36][37][38] - 积极倡导AI伦理与安全,推动《蒙特利尔AI负责任发展宣言》,支持禁止“致命性自主武器”的国际条约,呼吁对强大AI系统建立监管护栏[18][19][27] - 发起非营利组织LawZero,旨在构建能够检测和阻止自主智能体有害行为的“诚实”AI系统[20][27]
建模市场与人机共振:李天成超越价格预测的认知框架
搜狐网· 2025-06-30 18:40
市场认知框架 - 市场不可被精确预测,目标是构建理解市场状态和短期演化方向的认知框架 [1] - 交易本质是在非平稳、高噪音随机过程中寻找期望收益为正的决策机会 [1] - 传统技术分析存在降维失真问题,忽略驱动价格的高维潜在空间 [1] 模型范式演进 - CNN可识别局部空间模式但缺乏对时间序列路径依赖的理解 [2] - LSTM能捕捉时序信息但假设信息沿单一时间线流动,与市场网络化结构矛盾 [3] - 需从序列依赖建模转向结构与时间联合依赖建模 [5] 市场关系拓扑计算 - 构建动态多关系类型的时态知识图谱,数学本质为高阶张量 [6] - 引入异构霍克斯过程建模事件流,量化历史事件对当前事件的增强效应 [6] - 通过最大化对数似然函数反解实体和关系类型的嵌入向量 [7] 人机共振机制 - 人类策略师角色是模型架构的先验设定者,提供对市场的认知和洞察 [9] - 先验概率来自对产业变迁和技术范式转移的理解,转化为模型因子权重 [10] - 决策框架追求数学期望长期为正,赚取认知系统与市场平均认知水平的差价 [11]