transformers

搜索文档
院士郑纬民:中国不仅要构建类CUDA系统,同时也要做好10个关键软件
观察者网· 2025-07-26 22:48
中国信通院人工智能研究所所长魏凯在主题演讲时表示,人工智能正以前所未有的速度重塑世界,而数据作为AI发展的核心驱动力,其产业发展态势备受 关注。高质量数据集是用于训练、验证和优化大模型,覆盖多行业公域和私域数据,具备高技术含量、高知识密度、高价值应用的"三高"特征。然而,高质 量数据集建设也面临着目标定位模糊、实施路径碎片化、技术底座薄弱三大难题。对此,我国在高质量数据集建设方面有着强有力的政策驱动。国家部委和 地方政府注重"人工智能+数据要素"政策协同布局,在破局路径上,新一代数据标注和合成数据也为突破"数据墙"提供了解决思路。 中国电子党组成员、副总经理王桂荣王桂荣在致辞时表示,当前人工智能非常火热,代表着科技革命和产业革命的最新方向。中国电子正抢抓人工智能发展 机遇,建立了完整的集成电路产业链,构建了以飞腾、麒麟、达梦、中国电子云、中国长城为代表的全栈信创底座,并积极落实"数据要素×"行动,在数据 资源利用与价值激活上进行了诸多探索。中国电子云作为中国电子自主计算体系核心组成,自主研发了集通算、智算、超算一体的CECSTACK专属云平 台,为人工智能应用发展提供高效算力支撑,打造了全链路AI解决方案,将 ...
Paramount And Skydance Get The Green Light
Seeking Alpha· 2025-07-25 19:15
New chapter It's finally happening. More than a year after agreeing to a merger, Paramount Global (PARA) has finally gotten the necessary clearance to combine with David Ellison's Skydance Media. The hope here is to resurrect a Hollywood icon that has shed much of its market value, which had also been sought after by Sony Pictures (SONY), Apollo (APO) and IAC Chair Barry Diller. PARA +2.5% premarket.Snapshot: It's been a tough environment out there for legacy media. Streaming giants like Netflix (NFLX ...
Hammond Power Solutions Reports Second Quarter 2025 Financial Results
Globenewswire· 2025-07-25 05:15
(Dollar amounts are in thousands, in Canadian currency unless otherwise specified) GUELPH, Ontario, July 24, 2025 (GLOBE NEWSWIRE) -- Hammond Power Solutions Inc. (“HPS”) (TSX: HPS.A) a leading manufacturer of dry-type transformers, power quality products and related magnetics, today announced its financial results for the second quarter 2025. HIGHLIGHTS Record sales of $224 million in the quarter, a 13.8% increase vs quarter 2, 2024.Adjusted EBITDA of $33 million in the quarter, or 14.9% of sales.Gross ma ...
Should You Buy, Hold or Sell GE Vernova Stock Ahead of Q2 Earnings?
ZACKS· 2025-07-18 22:46
核心观点 - GE Vernova Inc (GEV)将于2025年7月23日盘前公布第二季度财报[1] - 预计营收87.9亿美元(同比增长7.1%) 每股收益1.64美元(同比激增131%)[2] - 过去60天每股收益预期上调5.8% 过去四个季度中有三个季度业绩超预期 平均超出预期34.7%[2] 财务预期 - 电力业务收入预计46.239亿美元(同比增长3.8%) 主要受益于燃气轮机设备销售及服务量价齐升[6][7] - 电气化业务收入预计21.135亿美元(同比大增18.1%) 受电网解决方案设备需求推动[8][9] - 风电业务收入预计21.821亿美元(增长5.8%) 陆上风电交付量增加但海上风电需求疲软拖累增速[9][10] 业绩驱动因素 - 电力设备订单强劲 服务量价提升 成本削减措施共同推动利润率改善[11] - 研发投入和核电/燃气发电业务产能扩张带来额外支出压力[12] - 全球数据中心扩张推高电力需求 可再生能源行业整体受益[19] 市场表现 - 过去六个月股价飙升42% 远超替代能源行业5%涨幅和能源板块7%跌幅[13] - 表现优于同业Constellation Energy(涨1.6%)和Bloom Energy(跌2.7%)[15] - 当前远期市盈率58.38倍 显著高于行业平均17.24倍[16] 行业地位 - 全球电力市场关键参与者 运营约5.5万台风机和7000台燃气轮机[20] - 发电设备贡献全球约25%电力供应 技术优势显著[20] - 电气化业务受益于可再生能源转型带来的电网设备需求[8]
TECO Wins Major Hyperscale Data Center MEP Projects in Malaysia
Prnewswire· 2025-07-18 21:00
公司动态 - 东元电机(TECO)宣布通过收购马来西亚NCL Energy公司后,成功获得雪兰莪和柔佛两个大型数据中心项目,总容量达178MW,合同价值超过1.7亿马来西亚林吉特(约合11.7亿新台币) [1] - 公司在马来西亚的两个重点项目分别为雪兰莪Elmina商业园项目(包含服务器机房安装和超大规模光纤通信基础设施部署)和柔佛Sedenak科技园项目(专注超大规模数据中心光纤解决方案) [3] - 在新加坡执行的数据中心MEP工程中包含全球首条13,864芯超大规模光纤电缆安装,累计在新加坡交付的数据中心解决方案总容量超过240MW [4] 技术能力 - 公司展示出在超大规模数据中心MEP工程领域的技术实力,特别是在光纤连接方面的行业专家地位 [3] - 具备提供结构化布线和连接解决方案的能力,同时自主生产数据中心建设所需的核心MEP产品(包括高效电机、母线槽、发电机、变压器和开关柜等模块化解决方案) [5] 市场拓展 - 马来西亚正快速成为东南亚数据中心枢纽,公司借此扩大在数据中心基础设施市场的版图 [2] - 针对全球科技巨头加速在东南亚部署超大规模数据中心的趋势,公司计划推动全产品线进入该市场 [3] - 公司在台湾和东南亚地区的数据中心项目总装机容量已超过700MW [6] 战略定位 - 通过国际项目经验和本地化团队结合,提供可靠高效的一站式解决方案,致力于成为智能能源和集成MEP工程的领导品牌 [6] - 智能能源事业群在国际舞台展现出项目整合与执行能力 [2]
首篇潜空间推理综述!模型思考不必依赖Token,带宽暴增2700+倍
量子位· 2025-07-16 09:49
潜空间推理综述核心观点 - 潜空间推理是一种新兴范式,通过内部连续表示推理过程,带宽比显式思维链(CoT)提升2700多倍(显式CoT每token约15bits,潜式CoT每步约40960bits)[15] - 提出统一框架整合循环、递归、连续思维等潜空间推理形式,该框架基于机械可解释性原理,与模型内部运作直接关联[2][3] - 框架为未来研究方向提供基础,包括通过扩散模型实现无限深度推理等高级范式[4] 潜空间推理技术实现 基本概念 - 核心区别在于使用潜式思维链(Latent Chain-of-Thought),以高维隐藏状态替代离散自然语言token,突破词汇表限制[13][14][16] - 理论基础可追溯至2019年《Universal Transformers》提出的自适应计算时间(ACT)机制[7][8] 处理模式 **垂直循环模式** - 通过重复处理同一组层扩展计算深度,实现"反复思考"[20][21] - 优势:动态分配计算资源处理复杂任务[23] - 局限:长推理链可能引发梯度消失/爆炸[24] - 实现变体包括: - Universal Transformer的架构层实现[25] - Coconut训练层插入连续思维向量[25] - CoTFormer隐藏激活回输机制[25] **水平循环模式** - 沿时间维度扩展记忆能力,维护压缩隐藏状态聚合跨时空信息[28][29] - 实现方式: - 线性状态循环(隐藏状态更新/衰减规则)[30] - 梯度状态循环(隐藏状态作为在线学习参数)[30] 机械可解释性验证 - 层深度与推理能力呈线性关系,构成推理容量瓶颈(需2-3层支持两步推理)[34][39][45] - 分层功能特化: - 浅层:基础信息处理/事实存储[49] - 中层:核心推理引擎[49] - 深层:决策制定/逻辑整合[49] - 信息流动机制: - 注意力机制关键作用:跨层传输计算信息[48] - 存在双向流动(反向注意力)增强推理能力[51][52] 前沿发展方向 无限深度推理 **空间无限推理** - 文本扩散模型实现路径: - 遮蔽扩散模型:并行预测/渐进解遮蔽[55] - 嵌入扩散模型:连续空间高斯去噪[55] - 混合AR-扩散模型:结合自回归稳定性[55] **时间无限推理** - 时间-深度交换原理:序列长度等价于优化迭代[57] - 具体方法: - 无限注意力机制[59] - 测试时训练(SGD优化)[59] - 隐式不动点RNN[59] 学术贡献与影响 - 首篇系统性综述,由字节SEED实习生等四位共同一作完成[5] - 整合Meta Coconut等顶会研究成果[9][12] - 建立理论基础:从清华层数限制研究到谷歌研究院的线性关系定理[34][45]
Hammond Power Solutions Announces Second Quarter 2025 Financial Results Conference Call and Webcast Notification
Globenewswire· 2025-07-10 22:00
文章核心观点 公司将于2025年7月24日收市后公布2025年第二季度财务结果,2025年7月25日上午9点举行财报电话会议和网络直播 [1] 财务结果公布 - 公司将于2025年7月24日收市后公布截至2025年6月28日的第二季度财务结果 [1] 电话会议和网络直播 - 公司将于2025年7月25日上午9点举行财报电话会议和网络直播,可通过注册链接参与 [1] - 直播参与者注册链接为https://register-conf.media-server.com/register/BI0ce5e83c56f74b07a9049f0d81ea3a77 [2] - 纯音频网络直播链接为https://edge.media-server.com/mmc/p/nfcppzn8 [2] - 网络直播回放将保留12个月 [2] 公司概况 - 公司通过其广泛的干式变压器、电能质量产品及相关磁性产品助力电气化,标准和定制产品在配电网络的最终用户应用中必不可少且无处不在 [3] - 公司在加拿大、美国、墨西哥和印度设有制造工厂,产品销往全球 [3] - 公司股票在多伦多证券交易所上市,股票代码为HPS.A [3] 联系方式 - 如需进一步信息可联系投资者关系部David Feick,电话(519) 822 - 2441分机453,邮箱ir@hammondpowersolutions.com [3]
美国变形金刚,要涨价了
财联社· 2025-07-10 10:20
关税影响与价格调整 - 全球玩具巨头孩之宝警告称在美国总统特朗普关税政策下美国玩具价格可能在今年晚些时候上涨尤其是更高关税生效的情况下 [1] - 公司首席执行官预计整体涨价即将到来很可能在秋季消费者可能在8月到10月看到价格上涨基于玩具生产时间表 [1] - 公司约一半产品在美国生产其余在国外生产过去几年已将生产更多地转移至美国越南土耳其和印度 [1] 生产转移与成本挑战 - 公司已配合特朗普敦促在美国制造的政策例如价值10亿美元的"万智牌"纸牌游戏已在北卡罗来纳州和德克萨斯州生产 [2] - 可能进一步扩大国内生产如由小麦制成的培乐多可能是"美国制造"的候选产品 [2] - 将更多制造业转移到美国具有挑战性劳动力成本高玩具通常需要手工制作精细细节自动化困难 [2] - 在美国生产同样玩具劳动力成本将占成本的80%到90%售价10美元的玩偶可能需要涨价至18美元以维持利润率 [2] 供应链与关税成本分担 - 外国供应商利润率低约2%至3%负担不起10%的关税孩之宝将为进口产品支付更多费用 [3] - 公司反驳美国官员关于外国承担关税成本的说法指出企业和合作伙伴都要吸收成本 [2] 业务优势与增长 - 公司在应对新关税压力方面比玩具行业许多公司更有优势游戏部门表现强劲减少对海外制造的依赖 [3] - 公司授权业务在过去三年中增长60%尤其有价值因其带来"纯利润" [3]
新范式来了!新能量模型打破Transformer++扩展上限,训练扩展率快35%
机器之心· 2025-07-07 12:48
核心观点 - 研究提出基于能量的Transformer(EBT)模型,通过无监督学习实现系统2思维(慢速思维)能力,突破传统Transformer在复杂推理任务上的局限性 [9][10] - EBT在语言和图像任务中展现出显著优势:语言任务性能提升29%,图像去噪PSNR最高提升3.5,同时计算量减少99% [12][81][83] - 模型具备跨模态泛化能力,在分布外数据上表现尤为突出,预训练扩展速率比Transformer++最高提升35% [11][14][46] 技术原理 - EBT通过能量函数为输入-预测对分配能量值,采用梯度下降优化至最低能量状态模拟思考过程 [17][18][21] - 引入三种关键正则化技术:重放缓冲区、Langevin动力学变体、随机化梯度步长,确保能量曲面平滑性与凸性 [25][26][27][28] - 设计两种架构变体:解码器EBT(类似GPT)和双向EBT(支持掩码建模) [32][33] 性能表现 语言任务 - 扩展性全面超越Transformer++:数据效率提升35%,参数/FLOPs效率更高,预期千倍规模下优势更显著 [11][44][47] - 思考机制带来29%性能提升,自我验证增益从4-8%增至10-14%,且随训练规模扩大持续增强 [55][60][61] - 下游任务泛化能力更强,GSM8K困惑度降低6.3,BB Math QA降低7.2 [73][74] 视觉任务 - 图像去噪PSNR达27.25(比DiT高0.67),OOD噪声处理PSNR提升3.73,MSE降低413.5 [82][83] - 视频学习扩展速率快33%,SSV2数据集验证损失下降更显著 [76][78] - 仅需1%前向传播次数即可达到DiT同等去噪效果,PSNR提升速率更高 [86][88] 创新价值 - 首次实现无监督系统2思维建模,突破模态/问题依赖性限制,为AGI发展提供新范式 [8][10][15] - 能量机制自动捕捉预测不确定性(如文本token难度、视频帧可预测性) [63][65][80] - 计算效率革命性提升:图像任务减少99%计算量,语言任务优化多步推理 [83][88][92]
GE Vernova's Electrification Arm Powers Solid Growth Ahead
ZACKS· 2025-07-01 21:15
公司业务表现 - GE Vernova的电气化业务(Electrification segment)作为关键增长引擎,包括电网解决方案、电力转换、太阳能和储能系统以及电气化软件业务,受益于全球能源转型趋势[1][3] - 该业务在2025年第一季度收入同比增长14%,2024年第四季度增长11%,第三季度增长22%,第二季度增长19%,主要受变压器、开关设备等电网设备需求推动[4] - 公司股价在过去一年上涨211.6%,远超行业53.6%的涨幅[9] 行业趋势与需求 - 大规模输电设备需求激增,驱动因素包括电动汽车普及、数据中心扩张以及可再生能源发电量增加[2] - 政府和私营部门正加大对电网基础设施升级的投资,以支持可再生能源整合和高效储能[2] - 西门子能源电网技术业务2025财年第二季度收入同比增长33.7%,订单增长41.6%,风电业务订单增长51.9%,收入增长18.4%[7] - 伊顿电气美洲业务2025年第一季度收入同比增长12%,全球电气业务增长7%[8] 估值与财务展望 - GE Vernova当前远期市盈率为56.25倍,较行业平均21.21倍溢价165.1%[11] - 市场共识预计公司2025年和2026年收入同比分别增长6.4%和10%,但2025年盈利预期在过去60天内下调,2026年预期上调[12]