Workflow
通用人工智能
icon
搜索文档
韩国总统李在明在沪出席中韩创新创业论坛
新浪财经· 2026-01-07 22:04
文章核心观点 - 韩国总统李在明访华出席中韩创新创业论坛 强调中韩是“搬不走的邻居” 双方应构建面向未来、优势互补的合作关系 合作创造协同效应的潜力不可限量 [1] - 合作重点清晰指向创新领域与青年创业 旨在拓展中韩创新企业合作渠道 推动共同挖掘潜在商机与开放式创新合作 [1] - 中韩坚实的经贸合作基础为深化创新合作提供支撑 以上海为核心的长三角地区在中韩贸易与投资中占据关键地位 [1] 中韩经贸合作现状与地理格局 - 长三角地区已占韩国对华贸易额的四成左右 其中上海一地就占10% [1] - 韩国对华投资半数集中在长三角地区 其中上海占20%至25% [1] - 在长三角的7000多家韩国企业中 约3000家扎根上海 [1] - 上海的“五个中心”建设 尤其是金融中心的承载力 是韩方最看重的独特优势 在华韩国金融保险类企业高度聚集在上海地区 [2] 中韩创新与产业合作重点领域 - 论坛聚焦智能制造、新材料、人工智能、医疗健康、文化创意与消费服务等领域 [1] - 韩国正主推高新科技产业 包括AI在内的很多相关企业大多在上海及周边布局 希望通过访问了解中国科创产业最前沿动态并寻找合作机遇 [2] - 韩国执政党高度关注中小企业 认为其是增加本土就业、助力年轻人积累经验的关键 论坛聚焦创新创业主题 上海及周边的创新生态为中韩中小企业对接提供了优质土壤 [2] - 通用人工智能科技公司上海稀宇科技(MiniMax)旗下产品在韩用户已超200万人 公司希望联合中韩投资者 赋能韩国AI、文创等领域初创企业 结合韩国产业优势开拓全球市场 [2] 双方高层表态与合作展望 - 韩国总统李在明表示 此次访华是希望构建面向未来的全新合作模式 [1] - 韩国正打造“无惧失败”的创业环境 助力青年人才探索创新之路 认为中国青年的奋斗精神将给韩国带来巨大启发 期待韩中创新人才常来常往 [1] - 李在明期待把握中国“十五五”规划带来的机遇 找到新的合作增长点 [3] - 上海官方表示 愿同韩方加强沟通对接 促进人员往来 在深化友好交流中拓展合作空间 [3]
伯克希尔新CEO年薪达2500万美元,是巴菲特的250倍;稀土概念股走强;花旗预计铜价可能在1月份见顶【美股盘前】
每日经济新闻· 2026-01-07 18:40
股指期货表现 - 道指期货上涨0.08% [1] - 标普500指数期货下跌0.13% [1] - 纳斯达克指数期货下跌0.28% [1] 稀土概念股 - 稀土概念股盘前走强,Critical Metals上涨超过10% [2] - MP Materials上涨超过3% [2] - USA Rare Earth上涨超过2% [2] 加密货币行情 - 比特币价格跌至91988.3美元,过去24小时下跌1.63% [3] - 以太坊价格跌至3225.79美元,过去24小时下跌0.04% [3] 公司动态与股价 - 百度盘前上涨近1.5%,其自动驾驶服务“萝卜快跑”获得迪拜首张完全无人驾驶测试许可并将启动本地运营中心 [4] - 生物制药公司Ventyx盘前飙升65%,有媒体报道礼来公司接近达成以超过10亿美元收购该公司的交易 [5] - Palantir获得Truist证券首次覆盖并给予“买入”评级,目标价223美元,理由是其推动政府和企业采用通用人工智能方面拥有巨大机遇 [6] - 沃达丰盘前上涨近3%,意大利电信声明已与Fastweb及沃达丰达成初步协议,将通过无线接入网共享模式就移动接入网络发展展开合作 [7] - 伯克希尔·哈撒韦公司宣布将新任首席执行官格雷格·阿贝尔的薪酬提高至2500万美元,是其前任沃伦·巴菲特固定年薪10万美元的250倍 [8] 大宗商品与宏观数据 - 花旗预计铜价将在未来三个月升至每吨14000美元,但若无新的催化因素,铜价可能在1月份见顶 [9] - 美国12月ISM非制造业指数将于北京时间23:00发布 [10]
【美股盘前】稀土概念股走强;生物制药公司Ventyx飙升65%,接近被礼来以超10亿美元收购;伯克希尔新CEO年薪达2500万美元,是巴菲特的250倍;...
每日经济新闻· 2026-01-07 18:13
股指期货与加密货币市场动态 - 道琼斯工业平均指数期货上涨0.08%,而标准普尔500指数期货和纳斯达克100指数期货分别下跌0.13%和0.28% [1] - 比特币价格跌至91,988.3美元,过去24小时内下跌1.63%,以太坊价格跌至3,225.79美元,过去24小时内微跌0.04% [1] 稀土与铜行业动态 - 稀土概念股盘前走强,其中Critical Metals上涨超过10%,MP Materials上涨超过3%,USA Rare Earth上涨超过2% [1] - 花旗预计铜价在未来三个月可能升至每吨14,000美元,但若无新的催化因素,价格可能在1月份见顶 [2] 公司特定事件与股价异动 - 百度盘前股价上涨近1.5%,因其自动驾驶平台“萝卜快跑”获得迪拜首张完全无人驾驶测试许可,并将启动本地运营中心 [1] - 生物制药公司Ventyx盘前股价飙升65%,有媒体报道礼来公司接近达成以超过10亿美元收购该公司的交易 [1] - 沃达丰盘前股价上涨近3%,因其与意大利电信及Fastweb达成初步协议,将通过无线接入网共享模式就移动接入网络发展展开合作 [2] - 伯克希尔·哈撒韦公司将新任首席执行官格雷格·阿贝尔的薪酬提高至2,500万美元,是其前任沃伦·巴菲特固定年薪10万美元的250倍 [2] 个股评级与市场观点 - Truist证券首次覆盖Palantir并给予“买入”评级,目标价为223美元,认为其在推动政府和企业采用通用人工智能方面拥有巨大机遇,支撑其高估值 [1]
马斯克做客播客,畅谈AI、机器人及人类未来
搜狐财经· 2026-01-07 16:45
人工智能 (AGI) 发展 - 通用人工智能 (AGI) 的落地速度可能超出多数人预期,该技术兼具变革性潜力与潜在风险 [3] - 人工智能将在未来数十年间成为中美战略竞争的关键领域,地缘政治格局将决定其发展路径与主导力量 [4] - 人工智能系统能推动各行业加速脱碳进程与任务自动化落地,在能源优化和机器人技术领域发挥赋能作用 [10] - 美国需将人工智能等关键科技领域保持领先地位列为国家优先事项,并通过政策与资金投入予以保障 [11] 自动化技术与就业市场 - 人工智能与自动化技术将重塑就业结构,在大幅提升生产力的同时,可能对传统工作模式造成冲击 [5] - 自动化技术会冲击就业市场,但人工智能、航天与高端制造业等领域也将催生新产业与新机遇 [12] 清洁能源转型 - 清洁能源在未来经济中占据核心地位,扩大可持续能源的生产与储能规模至关重要 [6] 人形机器人产业 - 特斯拉在人形机器人领域有明确研发进展,其应用场景将从工厂拓展至通用服务领域 [7] 特斯拉产品与战略 - 特斯拉即将推出的Roadster跑车被描述为“人类驾驶汽车时代末期的巅峰之作”,安全并非其核心卖点 [8][9] 科技发展长远愿景 - 人类发展的长远愿景包括成为跨行星物种,并掌握前沿科技以赋能自身发展 [13]
H股“扎堆”递表 自动驾驶行业迎来淘汰赛
新浪财经· 2026-01-06 04:03
行业上市与融资热潮 - 2025年共有15家自动驾驶产业链公司递表港交所,出现“扎堆上市”的火爆现象 [1][2] - 2025年1月至11月,国内自动驾驶领域融资金额已超380亿元,超过2024年全年的320亿元融资额 [1][6] - 行业扎堆上市是“政策窗口期、资本退出压力、商业化拐点、市场制度红利”四重因素共振的结果 [1] 政策与市场环境驱动 - 2025年第四季度,工业和信息化部正式公布我国首批L3级有条件自动驾驶车型准入许可,被视为从测试迈入商业化应用的关键一步 [2] - 港股市场回暖,18C章上市制度经过两年实践被验证可行,市场对尚未盈利的自动驾驶公司接受度显著提高 [3] - 人民币基金存续期一般为5至7年,美元基金存续期一般在10年左右,多数成立于2016年前后的自动驾驶公司其IPO对赌条款在2025年前后到期,资本退出压力大 [3] 技术发展与商业化路径 - 端到端大模型在2025年基本成熟,订单数据可支撑公司上市估值 [3] - 行业正从“技术叙事”转向“场景落地”,应用场景梯度分化明显,无明确订单和营收支撑的纯技术公司将被市场冷落 [1][7] - 封闭场景(如矿山、港口、物流园区)最受投资人青睐,因其环境可控、技术难度低、ROI可量化、规模化复制便捷 [7] - 2025年,部分企业的“一段式”端到端架构,使封闭场景的系统代码量简化90%、传感器成本降低60% [7] - 开放道路场景(尤其是L3级自动驾驶乘用车)的商业化仍面临成本居高不下、法规尚待完善、盈利遥遥无期等挑战 [8] 公司案例:主线科技 - 主线科技于2025年12月29日披露H股IPO申报材料,是2025年最后递表的自动驾驶公司之一 [1][4] - 公司成立于2017年3月,是全国首个拿下商用车智能网联汽车路测牌照的企业,也是中国首个在港口场景实现商业化部署的无人运输解决方案提供商 [4] - 公司已累计交付并运营近千台智能卡车,智能运输里程近亿公里,业务遍布国内数十个海港及多个海外国家 [4] - 公司核心收入来自三大业务板块:Trunk Port(港口物流枢纽)、Trunk Pilot(公路运输)及Trunk City(城配场景) [5] - 2022年至2024年及2025年上半年,公司营业收入分别为1.12亿元、1.34亿元、2.54亿元和0.99亿元,同期净亏损分别为2.78亿元、2.13亿元、1.87亿元和0.96亿元,截至2025年上半年累计亏损10.78亿元 [5] - 公司在2025年11月完成B5轮融资,投前估值36亿元,投后估值38.6亿元 [5] 行业竞争与分化 - 行业进入“决赛圈”,资金决定生死,创业公司纷纷抢占资本高地为“淘汰赛”储备粮草 [7] - 封闭应用场景的自动驾驶公司是H股上市主力,例如易控智驾运行的无人矿卡车队规模从2025年6月的1400余台增至2000台以上,占据中国L4级自动驾驶矿区解决方案市场近半份额 [8] - 部分公司陷入困境,如毫末智行被曝全面“停摆”,纵目科技、清研微视等相继陷入破产、清算或深度重组困境 [9] - 头部企业加速商业化,例如小马智行计划其Robotaxi车队规模在2026年年底突破3000辆,并计划在2025年基准上实现自动驾驶套件物料清单成本降低20% [9] - 车企积极布局,广汽集团旗下昊铂品牌车型A800于2025年12月25日启动L3级有条件自动驾驶高速道路研发测试 [10]
月之暗面AI完成5亿美元C轮融资,估值达43亿美元
搜狐财经· 2026-01-04 21:03
融资与估值 - 公司完成5亿美元C轮融资 由IDG资本领投1.5亿美元 现有股东阿里巴巴和腾讯及其他投资方参与 [2] - 本轮融资后公司估值达到43亿美元 [3] - 公司目前拥有超过100亿元人民币的现金储备 约合14亿美元 [3] 公司定位与竞争格局 - 公司是中国领先的大语言模型开发商 与智谱AI和MiniMax并称为“AI老虎” [2] - 公司致力于开发可能实现通用人工智能的基础模型 与美国OpenAI、Anthropic和谷歌等公司竞争 [2] - 美国政府报告曾提及公司 将其作为中国AI行业“日益深入发展”的证据 [4] 产品与技术 - 公司旗舰模型为Kimi K2 Thinking 拥有1万亿参数 被设计为“思考智能体” [4][5] - 该模型能够逐步推理问题 使用浏览器、搜索引擎等第三方软件 在无监督情况下可执行200到300个连续工具调用 [4] - 该模型在多个领先的AI基准测试中超越了OpenAI的GPT-5和Anthropic的Claude Sonnet 4.5 [4] 财务与运营表现 - Kimi K2 Thinking模型发布后 帮助公司在海外市场的收入自发布以来增长了近四倍 [4] - 公司付费订阅用户数量自该模型发布以来增长了170% [4] 资本规划与同业动态 - 公司短期内不急于进行首次公开募股 主要原因是拥有充足的现金储备用于AI计算基础设施建设 [3][5] - 同业公司智谱AI已向香港证券交易所提交发行计划 寻求筹集5.6亿美元 [3] - 同业公司MiniMax据中国媒体报道即将提交上市申请 寻求超过6亿美元的融资 [3]
国产替代风口下的稀缺标的,"港股GPU第一股"壁仞科技:33亿全栈自研创新+高算力布局决胜未来
市值风云· 2026-01-03 17:00
公司上市与市场反响 - 公司于2026年1月2日在港交所上市,成为港股首家GPU上市公司,并创下香港上市规则18C章节自2023年3月实施以来的最大募资规模[3] - 上市当天股价大涨76%,公开发售超额认购倍数达2347倍,最终发行价定为19.6港元,净募资53.75亿港元[3] - 近半数募资来自基石投资,包括启明创投、平安人寿、瑞银集团、泰康人寿等知名机构,为上市后发展注入信心[4] 行业背景与市场机遇 - AI产业是全球经济增长核心引擎,预计未来15年将贡献29万亿至48万亿美元的增量收入,占全球GDP增量的三分之一[5] - GPU占据计算芯片市场92%的比例,是AI算力基础的核心细分领域[5] - 2024年全球GPU市场规模已突破万亿元,预计2029年将达3.6万亿元,五年复合增长率为24.5%[5] - 中国AI相关GPU市场规模从2020年的43亿元快速增长到2024年的997亿元,预计2029年将达1.03万亿元,五年复合增长率高达56.7%[8] - 美国对华芯片管制加速了国产替代浪潮,预计国产GPU企业在中国的市场份额将从2024年的20%提高到2026年的60%[10] 公司业务与财务表现 - 公司2019年成立,2022年8月将首款GPU芯片推向市场,2023年开始产生收入,实现了从研发到商业化的快速落地[11] - 营收实现爆发式增长:2022年营收仅0.5百万元,2023年跃升至6203万元,2024年突破至3.37亿元,两年间完成从“零到亿”的跨越[12] - 2025年上半年实现收入0.59亿元,同比增长50%,业务增长强劲[15] - 截至2025年11月15日,核心GPU产品在手订单高达12.4亿元,为未来业绩增长提供高确定性[15] - 客户遍及AI数据中心、电信、能源、金融科技、互联网等核心领域,其中包括9家财富中国500强企业和5家财富世界500强企业[12] 核心客户与商业合作 - 公司已协助中国三大运营商完成国产算力集群的规模化商业落地,验证了技术实力与商业化潜力[12] - 2025年7月,与浙江联通、中兴通讯、优云科技联合打造的国产算力集群在浙江乌镇智算中心正式点亮[13] - 2025年12月,与湖南移动、中兴通讯联合打造的湖南移动国产算力资源池全面建成并成功点亮[13] - 公司的壁砺™系列通用GPU算力产品已在中国电信落地千卡集群并开展商业化应用,并成功入选中国电信集团新一轮国产化GPU集采项目供应商名单[13] - 优质客户粘性高,例如某核心客户在2024年4月因认可产品性能而追加签订了总价值1.37亿元的合同[13] 技术战略与产品体系 - 公司定位为通用智能计算领域的先进技术及解决方案提供商,采用“1+1+N+X”平台战略,即1个GPU架构加1个统一软件平台,衍生出多款芯片及全面产品组合[17][19] - 硬件端形成从GPU芯片、PCIe卡、OAM模块到服务器的完整产品矩阵,兼容风冷和液冷散热方案[20] - 软件端打造BIRENSUPA计算软件平台,涵盖驱动程序、编程语言、算法库等全栈组件,可简化AI解决方案开发部署并高效管理大型GPU集群[20] - 公司坚持软硬件全栈自研,打造“软硬一体、全栈优化、异构协同、开源开放”的大模型解决方案[21] 技术成果与行业地位 - 自研GPU架构融入多项创新,如带组播的异步数据传输技术和近内存计算技术,提高了计算速度、降低能耗并提升数据检索效率[23] - 是国内首家在单一服务器中实现八块GPU卡点对点全网状拓扑的GPU公司,也是国内最早推出商用GPU光互连技术的厂商之一[23] - 采用先进芯片封装技术,通过共封装两个BR106芯片裸晶推出性能翻倍的BR166芯片,成为中国首家使用2.5D芯粒技术封装双AI计算裸晶的公司[25] - 是国内最早实现千卡集群商用的GPU公司之一,其千卡集群达到连续运行5天以上无故障,训练服务30多天不中断的高可靠性标准[25] - 截至2025年12月15日,公司在全球累计提交1500多项专利,位列中国通用GPU公司第一;获得专利授权613项,位列前列;发明专利授权率达100%,位列国内企业榜首[32] 生态合作与产业布局 - 硬件端全面适配浪潮、新华三、中兴通讯、联想、超聚变等国内主流服务器厂商[22] - 软件端兼容DeepSeek、GPT、LLaMA、Stable Diffusion等主流学习框架与大模型,并完成麒麟、统信及运营商系国产操作系统的适配认证[22] - 联合多家友商推出国内首个光互连光交换GPU超节点——光跃LightSphere X,实现运算卡互连技术突破[22] - 与大晓机器人共建具身智能产业生态,携手科华数据、神州数码打造“芯片-服务器-数据中心-算力服务”四位一体的产业生态闭环[22] 研发投入与团队建设 - 研发投入持续高强度:2022年、2023年、2024年及2025年上半年研发支出分别为10.18亿元、8.86亿元、8.27亿元及5.72亿元,占当期总经营开支的79.8%、76.4%、73.7%及79.1%[30] - 截至2025年6月30日,研发人员达657人,占总员工比例83%;其中超过78%拥有知名大学硕士及以上学历,超过210人具备10年以上行业经验[31] - 创始人、董事长兼CEO张文拥有超过10年AI与硬件技术领域管理经验,曾任商汤科技总裁[33] - 首席技术官洪洲深耕GPU设计近30年,曾历任英伟达主架构师、华为首席架构师[34] - 首席运营官张凌岚拥有逾23年半导体行业经验,曾在AMD担任15年GPU SoC架构师[34] 股东背景与资源支持 - 股东阵容强大,包括上海国投先导基金、上海人工智能产业投资基金等国资平台;启明创投、华登资本、高瓴创投等头部科技投资基金;以及平安集团、中兴通讯、中芯聚源等产业投资方[34] - 多元的股东背景为公司带来了充足的资本支持、丰富的产业资源与潜在市场渠道,有力支持了技术落地与商业化进程[34] 产品规划与未来方向 - 公司聚焦高算力核心领域,精准切入大规模模型训练、推理等关键应用场景[26] - 产品路线图清晰:计划2026年推出下一代BR20X芯片,重点升级内存容量与速度、互连带宽并优化超节点系统设计[26] - 长期计划在2028年实现新一代BR30X(适配云训练/推理)与BR31X(适配边缘推理)的商业化落地,届时将推出算力更强、内存更大、TCO更低的GPU芯片[29] - 已率先布局量子计算,推出SUPA-Q量子-经典融合计算平台,并实现公司GPU对该平台核心部分的支持[29]
“港股GPU第一股”壁仞科技正式登陆港交所,开盘大涨118%!成18C以来最大IPO
搜狐财经· 2026-01-02 09:56
上市概况与市场反响 - 公司于2026年在港交所主板成功上市,成为当年港股首只上市新股,联席保荐人为中金公司、平安证券(香港)及中银国际 [2] - 香港公开发售部分反响火爆,吸引47.1万人认购,是过去一年港股市场中散户认购人数最多的新股 [2] - 本次IPO是香港上市规则18C章节实施以来募资规模最大的项目 [2] - 上市首日开盘股价大涨118.78%,报42.88港元/股,市值达到1011.53亿港元 [4] 业务与产品 - 公司开发通用图形处理器(GPGPU)芯片及基于GPGPU的智能计算解决方案,为人工智能提供基础算力 [4] - 解决方案整合了自主研发的GPGPU硬件及专有的BIRENSUPA软件平台,支持从云端到边缘的广泛AI模型训练与推理应用 [4] - 产品在大语言模型的预训练、后训练及推理方面拥有强大性能与高效能,形成高技术壁垒 [4] - 公司已开发出第一代GPGPU架构及两款芯片(BR106及BR110),并通过芯粒技术推出性能更高的BR166芯片产品 [5] - 下一代旗舰芯片BR20X计划于2026年商业化上市,其单卡运算能力、内存容量、互连带宽均大幅升级,并增强对FP8、FP4等数据格式的原生支持 [2] - 用于云训练及推理的BR30X及用于边缘推理的BR31X产品已进入初步研发阶段,预计2028年上市 [2] 技术研发与知识产权 - 公司的解决方案建立在五大支柱之上:自主研发的GPGPU架构、系统级芯片设计、硬件系统、软件平台及集群大规模部署优化 [12] - 核心技术涵盖GPGPU架构、SoC设计、硬件系统设计及软件技术 [7] - 研发团队核心成员包括首席技术官Zhou HONG(拥有近30年GPU设计经验)和首席运营官Linglan ZHANG(拥有逾23年半导体行业经验) [8][9] - 公司在约三年内成功将BR106从设计推向商业化,证明了世界一流的研发效率 [9] - 2022年、2023年、2024年以及截至2024年及2025年6月30日止六个月的研发开支分别为10.18亿元、8.86亿元、8.27亿元、3.97亿元及5.72亿元,占同期总经营开支的79.8%、76.4%、73.7%、71.5%及79.1% [9] - 截至最后实际可行日期,公司在中国及海外拥有613项专利、40项著作权及16项集成电路布图设计,并正在申请972项专利 [9] 市场与客户 - 公司战略性地聚焦高算力需求重点行业,包括AI数据中心、电信、AI解决方案、能源及公共事业、金融科技及互联网领域 [12] - 2023年,公司的智能计算解决方案开始产生收入 [12] - 截至2024年12月31日止年度及截至2025年6月30日止六个月,公司分别拥有14名及12名客户,贡献收入分别为3.37亿元及5890万元 [12] - 截至最后实际可行日期,公司拥有24份未完成的具有约束力的订单,总价值约为8.22亿元 [12] - 截至最后实际可行日期,公司已订立五份框架销售协议及24份销售合同,总价值约为12.41亿元 [13] - 按2024年中国市场收入计,中国智能计算芯片市场前两大参与者合计占据94.4%的市场份额,其余市场相对分散 [13] - 预计2025年中国智能计算芯片市场规模将达到504亿美元,公司预期取得约0.2%的市场份额 [13] - 预计中国企业智能计算芯片的合并市场份额将从2024年的约20%增长至2029年的约60% [13] 财务表现 - 2022年、2023年、2024年以及截至2024年及2025年6月30日止六个月,公司的收入分别为50万元、6200万元、3.37亿元、3930万元、5890万元 [13] - 同期,公司分别录得毛利50万元、4740万元、1.79亿元、2790万元及1880万元,毛利率分别为100%、76.4%、53.2%、71.0%及31.9% [14] 募资与资金用途 - 本次IPO募集的资金净额中,约85%将用于研发投入,约5%用于商业化拓展,10%用作营运资金及一般公司用途 [2] - 具体用途包括:研发智能计算解决方案(硬件发展与软件平台开发升级)、商业化(扩大销售及营销部门、开展营销活动、设立技术支持团队)以及营运资金 [14] - 上市前,公司已完成数轮IPO前投资,募集资金总额超过人民币90亿元 [14] 行业背景与竞争格局 - AI的快速发展,特别是大语言模型与生成式AI的推动,使得企业对计算解决方案的需求日益增加 [5] - 公司的技术是支撑AI发展、推动通用人工智能进步的重要基础设施 [4] - 中国智能计算芯片市场头部高度集中,但其余分散的市场为参与者提供了扩大规模并脱颖而出的机会 [13]
告别KV Cache枷锁,将长上下文压入权重,持续学习大模型有希望了?
机器之心· 2026-01-02 09:55
文章核心观点 - 由Astera研究所、英伟达、斯坦福大学、加州大学伯克利分校、加州大学圣地亚哥分校联合提出的TTT-E2E(端到端测试时训练)技术,是迈向AGI(通用人工智能)持续学习能力的重要一步[2] - TTT-E2E打破了传统模型在推理时静态不变的局限,将长上下文建模从“架构设计”问题转变为“学习问题”,使模型能在推理阶段通过在线优化(梯度下降)来学习和压缩信息[2][9][10] - 该方法采用“以计算换存储”的思路,旨在实现像RNN一样的恒定推理延迟,同时保持像Transformer一样的长距离性能,为处理无限长上下文提供了新路径[8][29] 长上下文建模的现有困境 - 当前长上下文建模面临“召回与效率的永恒博弈”:Transformer的全注意力机制性能优异,但推理成本随上下文长度线性增长,在处理128K或更长文本时延迟压力巨大[5] - 为提升效率而采用的循环神经网络(RNN)或状态空间模型(SSM,如Mamba),虽然拥有恒定每token计算成本,但在处理超长文本时性能大幅下降,无法有效利用远距离信息[5] - 传统RNN性能下降的根源在于“压缩率的固定”,即将无限序列压缩进固定大小的状态向量会导致信息丢失[6][7] TTT-E2E的核心机制 - 核心思想是将模型在测试阶段(推理阶段)的行为定义为一个在线优化过程,模型在读取长上下文时,不仅进行前向传播,还同步进行梯度下降[9][10] - 模型将上下文视为学习资料,在预测下一个token前,先在已读过的token上进行自监督学习,从而将信息编码进模型权重W中,而非存储在外部的KV Cache里[11] - 为实现这一构想,引入了两大核心技术支撑:1) 元学习,通过外层循环优化模型初始化参数,让模型“学会如何学习”;2) 混合架构,结合固定大小(如8K)的滑动窗口注意力处理短期记忆,由TTT更新后的MLP层承担长期记忆[13] 工程实现与架构设计 - 为平衡计算开销,仅针对最后四分之一的Transformer块进行测试时训练(TTT)[14] - 为这些块设计了双MLP结构:一个保持静态以锁定预训练知识,另一个作为“快速权重”在测试时动态更新,以解决知识遗忘问题[15] - 该设计模仿了生物记忆系统的层级结构:滑动窗口如同瞬时感官记忆,动态更新的权重则如同长期经验[13] 实验结果:性能与效率 - 在3B参数规模的模型上进行实验,TTT-E2E展现出与全注意力Transformer几乎一致的性能扩展曲线[18][21] - 当上下文长度从8K扩展到128K时,其他RNN基准模型(如Mamba和Gated DeltaNet)的测试损失在达到32K后显著回升,而TTT-E2E的损失持续下降,始终追赶甚至在某些指标上优于Transformer[21] - 在推理效率上,由于无需存储海量KV Cache,TTT-E2E的推理延迟不随上下文长度增加,在128K上下文测试中,处理速度比全注意力Transformer快了2.7倍[22] 技术局限性与未来方向 - TTT-E2E的训练成本目前较高,由于需要计算“梯度的梯度”(二阶导数),其在短上下文下的训练速度比传统模型慢得多[23] - 团队提出可通过从预训练好的Transformer节点开始微调,或开发专门的CUDA内核来弥补训练速度的短板[24] - 在极度依赖精确召回的任务(如大海捞针NIAH)中,全注意力模型仍是霸主,这印证了TTT的本质是压缩和理解,而非逐字暴力存储[24] 行业意义与未来展望 - TTT-E2E标志着大模型正从静态模型转变为动态个体,模型处理长文档的过程本质上是微型的自我进化[27] - 该“以计算换存储”的思路描绘了未来愿景:模型可在阅读海量资料(如一万本书)过程中不断调整自身,将大量信息浓缩进参数矩阵,而无需担心硬件缓存限制[29]
《自然》:2050年的科学:塑造我们世界乃至更远未来的未来突破
核心观点 - 文章展望了2050年世界在气候变化、人工智能、科学研究、能源、太空探索及生物科技等多个领域的潜在发展趋势与颠覆性变化,描绘了技术决定论与外部因素影响下的两种未来图景 [2][7][8][10][12][15][17] 气候变化与地球工程 - 到2040年,全球平均气温将超过工业化前水平2摄氏度的关键阈值 [3][4] - 2050年,关于全球变暖的政治辩论可能结束,焦点可能转向是否通过向高层大气注入颗粒以阻挡阳光的地球工程技术来冷却地球 [4] - 有预测认为到2050年世界将面临本世纪末气温升高3摄氏度甚至更高的局面 [5] - 另一种乐观设想是,到2050年从空气中去除二氧化碳可能成为巨大商机,企业利用二氧化碳制造塑料、燃料或药品 [7] 人工智能与科学研究 - 预测到2050年,所有科学研究很可能将由超级人工智能而非人类研究人员完成 [2] - 通用人工智能预计在2050年到来,具备回答大多数科学问题的能力 [11] - 到2050年,机器学习系统可能做出足以获得诺贝尔奖的科学成果 [11] - 由算法驱动的自主系统结合机器人实验员,将在“无人实验室”中全天候研究生物技术问题 [12] 能源与物理科学 - 到2050年,聚变能源有望最终成熟,过去5年核聚变取得的进展比过去50年加起来还要多 [13][14] - 量子传感器集成到引力波探测器中,可能识别出更小天体,有助于阐明暗能量和暗物质的本质 [12] - 宇宙学标准模型在2024年数据重压下已摇摇欲坠,到2050年可能有替代方案出现 [13] 太空探索 - 美国宇航局目标在2050年前将人类送上火星,SpaceX计划最早2026年发射无人星际飞船,2030年代将人类送上火星 [10] - 欧洲航天局征集2050年项目方案,包括轨道反物质探测器、带回彗星冰体样本及水星机器人探测器 [8] - 根据系外行星发现速度推算,到2050年科学家可能已发现1亿颗系外行星,但证实地外生命可能需要数十年甚至到本世纪末 [19] 生物科技与健康 - 政府可能因人口老龄化加大对慢性疾病医学研究的投入 [15] - 未来十年可能面临数据瓶颈,需要数百万志愿者提供健康信息以揭示用于诊断治疗精神和神经系统疾病的生物标志物 [16][17] - 到2050年,现行的《精神疾病诊断与统计手册》的语言可能显得古老 [17] 未来学方法与颠覆性技术 - 未来学最适合想象10到15年后的未来,超过20年容易变得科幻 [8] - 应关注“微弱信号”,即处于萌芽阶段可能颠覆未来的想法和技术,例如早期移动电话是智能手机的微弱信号 [17][18] - 新兴粘土电子学领域可能发展出可编程材料,由微型机器人组成,能根据需要改变形状和功能,影响材料科学、医疗等多个领域 [18] 科学研究的外部环境 - 民粹主义兴起和经济低迷时期公共支出紧缩,可能使研究人员面临更大压力去证明研究经费的合理性,影响纯粹研究和应用研究的平衡 [15] - 科幻小说常被未来学家及军方认真对待,用于捕捉微弱信号对未来社会的影响,例如2016年美国陆军演习已预示小型无人机的使用 [18]