Workflow
语言
icon
搜索文档
“美国已经基本退出,都是中国的”
观察者网· 2025-07-15 12:08
Meta AI战略调整 - Meta新成立的"超级智能实验室"考虑放弃开源AI模型Behemoth,转向开发闭源模型 [1] - 该实验室由28岁的新任AI主管亚历山大·王领导,团队约12人,办公区域与公司其他部门隔离 [6] - 战略调整或与Behemoth模型内部测试表现不佳有关,其发布已被推迟 [5] - 最终决策需经扎克伯格拍板,Meta也可能保留开源模型同时转向闭源 [5] 开源与闭源竞争格局 - 若Meta转向闭源,美国将基本退出前沿开源大型语言模型竞争 [1] - 当前开源领域主要竞争者为中国和欧洲,中国模型如DeepSeek和Kimi K2表现突出 [2][3] - Meta长期坚持开源AI模型,认为公开技术更有利于推动AI发展 [5] 中国AI模型进展 - 中国初创企业深度求索推出的DeepSeek模型性能与前沿模型抗衡,采用开源模式 [2] - 月之暗面发布的Kimi K2开源模型可能在开发者中普及,但冲击感不及DeepSeek [2] - 中国模型的开源策略显示美国监管难以阻止AI模型持续发展 [2] Meta人才与投资动向 - 扎克伯格开启"重金揽才"模式,开出上亿美元薪酬从OpenAI、谷歌等挖来顶尖研究员 [5] - Meta对亚历山大·王的AI初创公司Scale AI投资143亿美元,持有近半股份 [6] - 未被选入超级智能团队的员工可能在8月股票归属期临近时大规模离职 [7]
比Adam更有效,POET从谱不变原理出发,让LLM训练又稳又快
机器之心· 2025-07-15 08:59
大型语言模型训练新方法POET 核心观点 - 提出基于第一性原理的重参数化训练方法POET 通过正交等价变换实现高效稳定的大模型训练 严格保持权重矩阵奇异值分布并维持低超球能量 [3][6] - 该方法在LLaMA架构不同规模模型(60M至1.3B参数)上验证有效 显著降低验证困惑度(perplexity)并提升训练效率 [20][23] - 创新性引入两级近似方案解决计算扩展难题 参数效率最高可比AdamW提升mn/b(b-1)倍 [18][26][27] 技术原理 - 核心机制为将权重矩阵分解为随机固定矩阵与两个可学习正交矩阵的乘积 通过正交变换保持谱结构不变性 [11][17] - 采用归一化高斯初始化策略确保有界奇异值 实证显示其困惑度25.37优于标准初始化(26.22)和Xavier(25.79) [34][35] - 训练动态显示三阶段特征 包括锥壳搜索(余弦相似度0.6-0.65)、稳定学习及最终微调 [40][41] 性能优势 - 谱保持特性使350M参数模型训练中奇异值变化幅度比AdamW降低98% 谱多样性熵值持续高位 [13][15][17] - 在1.3B模型预训练中 POET-FS仅需AdamW 1/3训练步数(token量)即实现更低验证困惑度 [24] - 内存占用优化显著 块随机SPO变体参数复杂度仅为m+n 远低于AdamW的mn [26][27] 实现方法 - 开发Cayley-Neumann参数化近似 通过Neumann级数保持正交性 结合合并再初始化策略抑制误差 [19][29] - 提供完全随机SPO与块随机SPO两种变体 支持通过采样预算b灵活平衡效率与速度 [26][29][30] - 训练流程包含权重初始化、正交矩阵CNP参数化、内循环更新及合并再初始化五个标准化步骤 [28][32]
脑机接口 从“解码语言”到更多可能(国际科技前沿)
人民日报· 2025-07-15 05:57
脑机接口技术概述 - 脑机接口技术通过检测和调控大脑活动在大脑与外部设备之间建立直接信息通路创造新型人机交互方式[1] - 语言脑机接口通过解码大脑活动信号控制语音合成设备实现"意念对话"需解决信号解码、语音合成等技术难题[2] 技术突破与医疗应用 - 中国"北脑一号"半侵入式系统完成第三例人体植入采用128通道柔性高密度电极帮助渐冻症患者恢复语言交流能力[3] - 美国研究团队开发256通道微电极阵列系统实现每10毫秒捕获脑波信号近乎实时解码失语患者意图并保留语调变化[3] - 荷兰研究团队优化深度学习模型实现单个单词92%-100%分类准确率且保留合成语音语调音色特征[4] 人工智能算法进展 - 加州大学团队利用患者失语前录音训练AI算法合成接近原声的语音[4] - 中国团队开发多流神经网络模型实现中文声调音节分类最高76%准确率单字解码达91%准确率[4] 神经系统疾病治疗潜力 - 瑞士脑-脊髓接口技术让瘫痪患者实现行走并在植入后稳定运行超过一年[7] - 全球首款光谱覆盖可见光/红外线的视觉假体让失明实验动物恢复光感知能力未来或治疗视网膜病变[7] - 深部脑刺激已用于治疗帕金森病非侵入式电/磁刺激技术探索治疗抑郁症和阿尔茨海默病[7] 技术发展方向 - 未来需突破对复杂意图和语义的解码结合大语言模型实现"所想即所得"[5] - 需提高植入设备长期稳定性降低创伤提升信号解码准确性[8] - 需加强脑科学基础研究揭示大脑信息处理模式以优化脑机交互效率[8]
小鹏最新!NavigScene:全局导航实现超视距自动驾驶VLA(ACMMM'25)
自动驾驶之心· 2025-07-14 19:30
自动驾驶技术突破 - 小鹏汽车团队提出NavigScene解决方案,通过连接局部感知和全局导航信息弥补自动驾驶系统关键差距,实现超视距推理能力[2] - NavigScene包含两个子集:NavigScene-nuScenes和NavigScene-NAVSIM,通过自然语言指令模拟人类驾驶环境,整合Google Maps等导航工具的BVR(超视距)信息[9][14] - 系统采用三种创新方法:导航引导推理(NSFT)、导航引导偏好优化(NPO)和导航引导视觉-语言-动作模型(NVLA),显著提升感知、预测和规划任务性能[10][12] 技术实现细节 - 视觉生成模块利用Google Maps API合成导航视频,通过Direction API获取路线、Static Map API采集连续图像,Distance Matrix API计算行驶数据[16] - 文本生成采用三重相似度指标(交叉路口相似度Sinter、距离相似度Sdist、词汇相似度Sword)选择最优导航描述,权重分配体现方向准确性优先原则[18] - NVLA模型通过可学习MLP解决VLM高维输出(如LlamaAdapter的32,000维)与BEV特征(典型256维)的维度不匹配问题,实现特征融合[28][29] 性能验证数据 - 问答任务中,整合NavigScene的VLMs在BLEU-4、METEOR等指标全面提升,Qwen2.5-7B表现最佳(BLEU-4从51.65提升至55.13)[32][47] - 端到端驾驶测试显示,SparseDrive模型整合Qwen2.5-7B后检测mAP提升0.04,闭环规划中DAC指标达96%,优于基线系统84.2%[40][41] - 跨城市泛化实验证明,NPO技术使波士顿→新加坡场景的平均碰撞率从26.83%降至22.55%,显著增强陌生环境适应能力[55] 行业应用前景 - 技术方案已覆盖感知(3D检测、BEV)、预测(轨迹分析)、规划(闭环控制)全链条,形成30+技术栈的完整学习体系[65] - VLA/VLM算法工程师岗位需求激增,顶尖企业为博士人才提供90-120K薪资,反映技术商业化加速[64] - 行业社区规模达4000人,涵盖300+企业与科研机构,显示技术生态快速扩张[65]
ACL 2025|自我怀疑还是自我纠正?清华团队揭示LLMs反思技术的暗面
机器之心· 2025-07-14 12:08
反思技术失败现象 - 大语言模型在反思技术提示下会出现将正确答案改错的现象,即使是最先进的推理模型ChatGPT o4-mini-high在简单事实问题如"地球是不是平的"上也会出错[2][3] - 反思技术在多种任务(简单事实问答、复杂推理等)中失败案例多于成功案例,且随着模型进步失败率虽有减少但未根本解决,部分任务中更严重[8] - 最新ChatGPT模型(4.5-preview/4.1/o4-mini/o3)反思失败率显著,其中o4-mini初始准确率81.6%但反思后下降22.1个百分点,改错率高达41.5%[9] 失败原因分析 - 内部答案波动:多轮对话中LLMs会频繁更改答案,如GPT-3.5-turbo对81.3%的问题更改答案超6次,表现出"自我怀疑"倾向[12][13] - 提示语偏差:失败时LLMs在76.1%情况下过度关注反思指令而忽略问题本身,成功时对指令和问题的关注度相近(50.8% vs 49.2%)[16][18] - 认知偏差:在复杂任务中LLMs会表现出类似人类的三种认知偏差模式——过度思考、认知过载、完美主义偏差[20][21] 缓解策略 - 问题重复:在反思提示语后附上初始问题,引导模型维持对问题的关注[25] - 少样本微调:使用4-10个样本进行微调可纠正反思失败的异常行为,效果优于问题重复且能泛化到复杂任务[23][25]
多模态大模型崛起:华泰证券预测应用奇点即将到来
搜狐财经· 2025-07-14 07:44
多模态大模型发展趋势 - 多模态大模型正迅速接近关键转折点,是大语言模型(LLM)演进的必然趋势 [1][5][6] - 原生多模态架构(MLLM)因全模态同步训练在性能、延时、部署上优势显著,但算力要求严苛,OpenAI和Google处于领先地位 [1][6] - 技术迭代推动图像生成转向易用性,视频生成在时长、清晰度、一致性持续突破,语音、音乐、3D领域同步拓展 [2][4] 商业化进展 - 全球商业化呈现三大趋势:海外快于国内、一级市场公司快于二级市场、多模态产品快于文本产品 [1][7] - 海外Chatbot类产品(如OpenAI、Anthropic)年化收入(ARR)超10亿美元,国内Chatbot商业化仍较初期 [1][7] - 国内年收入超1亿美元的AI公司(美图、快手、睿琪软件)均聚焦多模态产品 [1][7] 视频生成赛道表现 - 国内厂商在视频生成赛道全球化与商业化最成熟,字节Seedance 1.0、快手可灵(Kling)、MiniMax Hailuo 02位列全球榜单前列 [8] - 快手可灵上线10个月ARR突破1亿美元,标志国内视频生成从单点突破进入多点突破阶段 [2][8] 投资机会 - 算力侧:原生多模态模型及视频推理需求激增,视频Agent落地进一步催生算力需求 [9] - 应用侧:广告、零售、创作等领域AI化需求释放,国内视频生成模型领先 [9] - 推荐标的包括国产算力链(沪电股份、生益科技)及应用产业链(微软、奥多比、金山办公等) [9][14] 行业共识与未来方向 - 多模态大模型将成为行业核心发展方向,融合图像、视频、语音数据以拓宽AI应用场景 [4][15] - 原生多模态架构主流化及一级市场公司进展需重点关注,与市场认知存在差异 [5][7]
AGI没那么快降临:不能持续学习,AI没法全面取代白领
36氪· 2025-07-14 07:23
AGI发展瓶颈 - 当前大语言模型(LLM)缺乏人类持续学习能力 模型开箱即用的能力即为天花板 无法通过反复调试系统提示词达到人类经验积累的效果 [6] - 人类价值核心在于构建语境、反思失误、持续优化细节的能力 而LLM仅能通过文字说明被动学习 无法像人类通过实践主动适应 [7][8] - 强化学习微调(RL fine-tuning)存在技术局限 每项子任务需定制强化学习环境 难以实现人类编辑自主发现细节的成长路径 [8] 计算机操作智能体挑战 - 现有计算机操作智能体表现糟糕 执行链延长导致进度放缓 处理图像视频需额外算力消耗 [13] - 多模态数据先天不足 纯文本训练无法解决UI逻辑理解问题 类似用1980年文本数据训练GPT-4 [14] - DeepSeek研发案例显示 从GPT-4到o1耗时两年 计算机操作领域数据更匮乏、模态差异大 突破难度被低估 [15] AGI时间线预测 - 2028年AI或能处理小企业税务全流程 相当于GPT-4在语言模型的里程碑意义 但2026-2027年demo可能炫酷不实用 [17][18] - 2032年AI在职学习能力或媲美人类白领 七年时间跨度足以突破持续学习瓶颈 类比GPT-1到当前模型的进步速度 [19][20] - 本十年(2030年前)是AGI关键窗口期 依赖算力年增四倍的发展模式将终结 之后进展需靠算法突破 概率直线下跌 [22] 模型能力现状评估 - LLM在单次对话中展现灵光 但对偏好的理解会话结束即归零 长上下文窗口方案在非软件工程领域效果脆弱 [9] - 顶尖模型在擅长领域已展现推理能力 能拆解问题、揣摩需求、调整方向 部分场景实现零样本生成可用程序 [16] - 当前AI若停滞发展 仅能替代不到25%白领岗位 因无法持续学习适应偏好 上下文构建缺失使其难以成为真正"员工" [10]
宇树科技王兴兴、强脑科技韩璧丞首次出席香港特首顾问团会议
每日经济新闻· 2025-07-14 02:36
香港特首顾问团会议 - 杭州宇树科技创始人王兴兴和浙江强脑科技创始人韩璧丞作为新一届特首顾问团成员首次参会,会上强调香港具有"内联外通"优势、教育科研资源及国际金融中心地位,是内地企业上市和出海的理想窗口 [1] - 顾问团讨论三大主题:香港经济高质量发展、创新与创业、区域与环球协作,涉及巩固金融中心地位、推动产业升级、开拓新兴市场等内容 [2] - 特首李家超表示顾问团成员均为各领域翘楚,其建议将为香港发展战略和《施政报告》提供重要参考 [2] 杭港创科合作 - 李家超4月访问浙江时曾与"杭州六小龙"企业代表会面,重点关注大语言模型、机器人、AI、脑机接口等领域发展,并实地考察强脑科技和宇树科技 [3] - 李家超指出杭州创科生态圈发展迅速,香港将推动两地企业合作,利用香港开放优势助力内地企业国际化 [3] - "杭州六小龙"中的群核科技已于2024年2月14日向港交所递交IPO申请,成为该群体首家拟上市企业 [3] 企业动态 - 宇树科技和强脑科技作为"杭州六小龙"代表企业,其创始人在香港特首顾问团会议中扮演重要角色,凸显两地科创合作深化 [1][3] - 强脑科技专注于脑机接口技术,宇树科技涉及机器人领域,两家公司均受到香港特区政府高度重视 [3]
澜起科技申请H股上市 预计上半年净利增长超85%
证券时报· 2025-07-14 01:22
业绩预告 - 公司预计2025年上半年实现营业收入约26.33亿元,同比增长约58.17% [1] - 预计同期归母净利润为11亿元—12亿元,同比增长85.50%—102.36% [1] - 业绩增长主要受益于AI产业趋势,DDR5内存接口及模组配套芯片出货量显著增长 [1] - 三款高性能运力芯片合计销售收入2.94亿元,同比大幅增长 [1] - DDR5内存接口芯片及高性能运力芯片销售收入占比增加,带动毛利率较上年同期增长 [1] 港股上市计划 - 公司已向香港联交所递交H股上市申请,计划在香港联交所主板挂牌上市 [1] - 计划将募集资金用于投资互连类芯片领域前沿技术的研发和创新 [1] - 募集资金将用于提升公司在云计算和AI基础设施领域的全球领先地位 [1] - 部分募集资金将用于提高商业化能力以及战略投资或收购 [1] 市场地位 - 按收入计算,公司已成为全球最大的内存互连芯片供应商,2024年占据36.8%的市场份额 [2] - 公司是全球两大PCIe Retimer提供商之一 [2] - 公司是首家推出CXL MXC芯片的公司 [2] 行业前景 - 内存互连芯片市场规模预计将从2024年的12亿美元增长至2030年的50亿美元,复合年增长率为27.4% [2] - PCIe及CXL互连芯片市场规模预计将从2024年的23亿美元增长至2030年的95亿美元,复合年增长率为26.7% [2] - AI相关技术进步推动行业从"计算"向"智算"演进 [2] - 生成式人工智能(AIGC)和大语言模型(LLM)将重塑科技行业并影响人们生活 [2] - 生成式人工智能的快速发展将带动AI服务器市场高速增长 [2]
“杭州六小龙”,两人加入特首顾问团!
第一财经· 2025-07-13 22:18
2025.07. 13 本文字数:2103,阅读时长大约3分钟 作者 | 第一财经 何涛 封图 | 李家超主持特首顾问团午餐会议,图为其中一场会议。来源:香港特别行政区新闻公报 上周,香港特区行政长官李家超一连三天(7月9日至11日)与特首顾问团举行午餐会,听取顾问团 成员就今年《施政报告》和香港整体发展的意见。 第一财经记者注意到,这是新一届(第二届)特首顾问团成员的首次会议。顾问团出现三位新成员, 分别为著名经济学家朱民、浙江强脑科技有限公司创始人韩璧丞及杭州宇树科技有限公司创始人王兴 兴——强脑科技和宇树科技都是"杭州六小龙"企业。 相应地,首届特首顾问团成员中的三人不再出现,分别是李嘉诚长子、长和集团主席李泽钜,华润集 团前董事长傅育宁,以及已经去世的商汤科技创始人汤晓鸥。顾问团继续保持34人阵容不变。 特首顾问团是李家超于2023年主导成立的高层次咨询组织,分为经济高质量与持续发展,创新与创 业,以及区域与环球协作三个小组。成员均为来自政、商、学、律界的翘楚,像香港特区前财政司司 长唐英年、太古集团主席白德利、阿里巴巴创始人之一蔡崇信、诺贝尔经济学奖得主迈克尔·斯彭斯 等。公开信息显示,首届顾问团至 ...