大语言模型

搜索文档
微软这支神秘的华人AI团队加入腾讯混元,曝与裁员无关|独家
AI前线· 2025-05-14 13:47
团队动态 - WizardLM团队6名主力成员离开微软加入腾讯混元AI开发组织 将专注于推动LLM培训技术和AI模型构建 [1][4] - 团队采用远程办公模式 成员独立负责各自研发部分 [5] - 团队核心人物Can Xu和Qingfeng Sun早已离开微软 与微软近期裁员6000人无关 [4] 团队背景 - WizardLM团队成立于2023年初 专注高级大语言模型开发 在HuggingFace有6位主要成员 [7] - Qingfeng Sun曾任微软AI研究科学家 共同创立WizardLM项目 贡献Evol-Instruct等方法 [9] - Can Xu领导WizardLM系列模型研发 发表40多篇顶级会议论文 Google Scholar引用超3300次 [10] - 团队曾与北京大学合作开发Evol-Instruct方法 生成的指令质量优于人工数据集 [10] 技术成果 - WizardLM-30B在Evol-Instruct测试集取得97.8% ChatGPT分数占比 [14] - 在2023年UC伯克利LLM排位赛中 WizardLM位列全球第四 是华人团队开源模型第一名 [16] - WizardLM-30B在HumanEval评估中击败code-cushman-001和StarCoder [17] - WizardLM-13B在AlpacaEval和Evol-Instruct测试集分别获得87%和89% ChatGPT能力占比 [17] 模型发布 - 2024年4月发布WizardLM-2系列 包含8x22B/70B/7B三个型号 性能接近专有模型 [19][21] - 8x22B专为复杂任务设计 70B侧重推理能力 7B注重处理速度 [21] - 在MT-Bench评估中 8x22B得9.12分 70B得8.92分 7B得8.28分 [22] - 微软因缺乏毒性测试撤回WizardLM-2模型 团队承诺尽快完成测试重新发布 [23][24] 腾讯布局 - 腾讯重组混元AI研发架构 新设大型语言模型和多模态模型团队 [28] - 加强数据基础设施建设 设立大模型数据管理部门和机器学习平台部门 [28][29] - 计划2025年投入900亿元(124.9亿美元)资本支出 重点发展AI业务 [30] - AI业务为腾讯2025年第一季度贡献8%的增长 [30] 行业影响 - Hugging Face CEO批评微软移除WizardLM模型损害开源社区利益 该模型月下载量超10万次 [25][27] - 网友认为腾讯比微软更适合WizardLM团队发展 微软在AI研发上已显疲态 [32] - 部分用户惋惜WizardLM从开源转向闭源 认为这是行业损失 [34]
北京国电通申请基于生成对抗网络与大语言模型的人力资源管理专利,实现生成虚拟人力资源数据的多元化
金融界· 2025-05-14 11:56
专利申请 - 北京国电通网络技术有限公司和国网信息通信产业集团有限公司联合申请了一项名为"一种基于生成对抗网络与大语言模型的人力资源管理方法"的专利,公开号CN119963144A,申请日期为2024年12月 [1] - 专利技术通过生成对抗网络学习人力资源管理数据并生成虚拟数据,结合大语言模型训练人力资源管理模型,用于优化人力资源决策 [1] - 该技术实现了虚拟人力资源数据的多元化生成,并综合利用虚拟和真实数据提升决策质量 [1] 公司背景 - 北京国电通网络技术有限公司成立于2000年,注册资本7.3亿人民币,专注于专业技术服务业,拥有948条专利信息和65条商标信息 [2] - 国网信息通信产业集团有限公司成立于2015年,注册资本1502.231亿人民币,从事软件和信息技术服务业,拥有4601条专利信息和311条商标信息 [2] - 北京国电通对外投资4家企业,参与招投标2019次,国网信通对外投资40家企业,参与招投标5000次 [2]
红杉AI峰会六大关键议题解读(2):AI操作系统崛起,从“被调用”到“主动调度”的范式转变
海通国际证券· 2025-05-13 21:06
AI操作系统发展趋势 - 2025年红杉AI峰会认为AI操作系统崛起是人工智能应用发展关键转折点,标志AI从“被调用”到“主动调度”转变[1][7] - AI操作系统重构人机交互方式,从工具变为任务执行中枢,ChatGPT成为“操作系统级别的存在”[2][8] - AI从“一个模型”进化为“多个智能体协同”系统结构,“Agent Inbox”范式构建“AI任务流水线”[3][9] AI操作系统核心竞争力与应用 - AI操作系统核心竞争力是“任务执行力”,商业价值基于实际执行成果而非技术演示能力[4][10] - AI操作系统向汽车、金融、教育、政务等行业渗透,构建“全流程智能闭环”执行系统[4][11] 行业前景与风险 - AI操作系统崛起将成下一轮科技浪潮起点,有望成为类iOS/Android级平台机会[5][12] - AI操作系统发展面临需求不及预期、地缘政治干扰供应链、数据中心建造放缓风险[6][13] 评级相关 - 海通国际采用相对评级系统,优于大市指未来12 - 18个月预期相对基准指数涨幅10%以上,中性变化不大,弱于大市跌幅10%以上[20][24][25] - 截至2025年3月31日,海通国际股票研究覆盖率中优于大市占92.2%,中性7.5%,弱于大市0.3%[26][28] 报告发布与合规 - 非印度证券研究报告由HTIRL发行,印度证券由HSIPL发行,均以海通国际为名全球发布[43][44][47][48][49] - 报告对不同地区投资者有分发和交易相关通知,使用有免责声明[54][55][57][58][65][74]
特斯拉/美团/蔚来背后的神秘“捕手”:我在大语言模型上看不到持续竞争力
36氪· 2025-05-13 16:31
公司背景与投资策略 - Baillie Gifford是一家位于苏格兰爱丁堡的百年投资公司,以价值投资闻名,被称为"全球成长股捕手" [1] - 核心投资策略是全球长期成长策略(LTGG),即在全球范围内发掘并长期投资最具竞争力、创新性和成长效率的优质企业 [1] - 公司是多家科技巨头的早期投资者,包括2004年投资Amazon、2011年投资Illumina、2013年投资Tesla、2014年投资阿里巴巴 [1] - 2013年以8900万美元建立230万股特斯拉头寸,平均持股成本38.7美元,2017年持股量达1400万股,稳居特斯拉二股东席位 [1] 经典投资案例 - 特斯拉投资:持续7年重仓陪跑,高位减持约4成仓位并获利约170亿美元 [1] - 美团投资:2016年参与首轮融资,2018年美团上市获配5800万股占全球发售12.08%,在疫情和反垄断危机中抄底 [2] - 字节跳动投资:2019年入场,预计即使在TikTok被美国封停情况下仍有5倍回报率 [28][32][33] - 亚马逊投资:2004年开始投资,见证其从非盈利状态成长为巨头 [24] 投资方法论 - 采用"10个问题框架"评估企业,分为4个维度:未来增长机会、竞争优势、组织文化、财务分析 [9][10] - 基准模型预设5倍上行空间,核心验证在于达成该回报的概率和假设是否成立 [7] - 投资组合中位数企业特征:约2亿美元营收规模、70%年同比增长、EBITDA利润率-14% [18] - 倾向创始人领导的企业,十大持仓中有九家是创始人领导 [5][13] 行业观点与趋势 - 对AI大语言模型公司保持观望,认为其持续竞争优势尚不清晰,已投资DataBricks和Tenstorrent等AI基础设施公司 [3][25] - 认为Google是当前严重被低估的公司,看好其在AI领域的布局和消费者分发终端 [58] - 最看好Bending Spoons的商业模式,认为其并购方法论和工具链具有独特优势 [52][62] - 认为去全球化是当前投资圈最大风险,强调全球化投资布局的重要性 [44] 中国市场观点 - 认为中国依然存在投资机会,当前市场恐惧情绪反而创造投资窗口 [45][46] - 遵循"别人恐惧我贪婪"原则,计划夏季实地考察中国市场 [46] - 字节跳动在中国的商业模式极为优秀,头条和抖音是广告平台佼佼者,电商平台排名第三 [30][31] 投资失误与反思 - 未投资Coinbase是一项失误,因对比特币市场资金量级和流动性估计错误 [47][48] - Northvolt投资失败源于对团队执行力判断失误 [14][15] - 生物科技公司Intarcia是首个破产的投资标的,因FDA否决其疗法 [14] - 反思过去低估了成长期公司的特定需求,如上市流程和董事会建设 [59]
对话PingCAP黄东旭:AI大潮冲击下,软件公司如何顺流而上?
钛媒体APP· 2025-05-13 14:04
软件行业融资与分类 - 2021年是软件行业估值高点和资本追捧顶峰 将软件公司分为2021年融资成功与未融资两类 [2] - 2021年华创资本软件投资组合融资额超过此前九年总和 此后行业融资环境持续紧缩 [5] - 2021年融资成功公司面临团队扩张后收缩的管理挑战 而未融资公司持续处于降本增效状态 [6][7] AI对软件行业影响 - AI浪潮提升数据价值 但更深远影响在于改变企业软件交互方式与产品形态 [2] - 2023年后市场融资集中于AI领域 非AI项目融资难度显著增加 [10][11] - 未来所有企业软件都将被AI改造 但行业Know-how和工程复杂性仍是核心护城河 [15][45] 软件产品形态变革 - AI将软件从静态功能转变为动态智能服务 通过自然语言交互降低使用门槛 [18][22] - 下一代软件可能呈现为碎片化功能模块 通过对话界面按需调用 [24] - 软件需保持human-in-the-loop设计 确保结果可解释性和用户可控性 [26][28] 基础软件发展趋势 - 数据库重要性提升 企业更倾向存储原始数据以备AI开发利用 [30][31] - 数据库接口设计需从面向开发者转向面向AI Agent SQL仍是最佳数据交互语言 [32][33] - 数据基础设施呈现归一化趋势 打破数据孤岛以支持AI高效访问 [36][37] 企业数据价值 - 企业独有数据价值显著提升 成为核心竞争壁垒 [45][46] - 数据打通在企业内部加速 但企业间数据壁垒可能加强 [47] - 有效利用企业独有数据需要专业软件工具支持 [45]
当AI遇上数学:大语言模型如何掀起一场形式化数学的革命? | Deep Talk
锦秋集· 2025-05-12 17:13
核心观点 - 大语言模型(LLM)与形式化数学结合正推动数学领域的范式变革,解决传统人工验证的瓶颈问题 [1][4] - 形式化数学通过严格逻辑和计算机辅助验证提升数学证明的可靠性和效率 [4][7] - 从Theorem Prover向Proof Engineering Agent转型是形式化数学的未来趋势 [11][17] - APE-Bench作为自动化证明工程基准,支持形式化数学的长期动态演进 [12][16] - LLM与形式化方法的结合将催生Certified AI,提升知识生产的可信度和效率 [17] 形式化数学的背景与挑战 - 现代数学证明规模庞大(如300页的开普勒猜想证明),传统人工验证效率低且易出错 [6] - 形式化数学通过公理系统和逻辑语言表达数学内容,借助计算机工具实现自动化验证 [8] - LLM的"幻觉"问题在数学领域尤为突出,需结合形式化方法确保生成内容的逻辑严密性 [6] 形式化定理证明的应用 - 典型案例包括Flyspeck项目(验证开普勒猜想)、液体张量实验(验证凝聚态数学引理)、PFR猜想众包验证 [13] - 形式化方法适用于数学理论证明和软件工程验证,确保逻辑一致性 [9] LLM驱动的最新进展 - AlphaProof在国际数学奥林匹克题目证明中达到银牌水平,DeepSeek-Prover V2在miniF2F基准成功率近90% [10] - LEGO-Prover项目利用LLM构建可复用的数学知识库,推动形式化数学向库级理论构建转型 [10] - 前沿研究探索LLM主动提出数学猜想和发现抽象结构的潜力 [10] Proof Engineering Agent转型 - 当前形式化工具面临人工成本高、协作效率低等问题(如Flyspeck项目耗费数十人年) [11] - 下一代工具需具备自我规划、修复和知识积累能力,支持大规模跨模块协作 [11] APE-Bench的设计与实施 - 分为三个阶段:单文件局部修改(APE-Bench I)、跨文件一致性维护(APE-Bench II)、完全自主Agent模式(APE-Bench III) [19] - 基于真实数学库(如Mathlib4)的历史修改记录,模拟实际Proof Engineering场景 [12] 未来影响与展望 - 数学领域:提升验证效率,推动理论创新和概念探索 [17] - 工业领域:应用于高安全系统(如操作系统内核、智能合约),提升安全性与可靠性 [17] - Certified AI将结合形式化验证与动态学习,成为可信的知识生产伙伴 [17]
一个「always」站在大模型技术C位的传奇男子
量子位· 2025-05-10 10:39
核心观点 - Noam Shazeer(沙哥)是Transformer八位作者中被公认贡献最大的一位,其工作奠定了当今大语言模型的基础[9][10] - 沙哥的技术预判能力极强,多次提前数年看到技术趋势并推动关键突破,如Transformer、MoE、Adafactor等[17][24][40] - 沙哥的职业生涯与谷歌深度绑定,期间主导了多项核心技术研发,如谷歌广告系统、垃圾邮件检测系统等[55][56][58] - 沙哥曾短暂创业Character.AI并获得10亿美元估值,后以27亿美元被谷歌收购并回归领导Gemini项目[67][69] 技术贡献 Transformer架构 - 沙哥在2017年加入Transformer项目后重新编写了整个代码,将系统提升到新水平,论文《Attention Is All You Need》引用量超17万次[18][21][23] - 该论文打破了学术界作者排序规则,八位作者随机排序并标注平等贡献,但沙哥的加入发挥了举足轻重的作用[23] MoE技术 - 沙哥早期与Geoffrey Hinton等合作的研究为MoE(专家混合)新范式埋下伏笔,提出1370亿参数的MoE架构[26][27] - 2020年参与GShard研究,将MoE模型扩展到6000亿参数[30][31] - 2021年Switch Transformers将参数规模推至1.6万亿,速度比T5-XXL快4倍[33][34] - 2022年ST-MoE-32B稀疏模型参数达2690亿,计算成本仅相当于320亿参数密集型模型[37] 其他关键技术 - 提出Adafactor优化器,早期谷歌大模型如PaLM都依赖该技术[43] - 发明Multi Query Attention(MQA)解决Transformer推理效率问题[44] - 提出Gated Linear Layer(GLU)改进Transformer架构的表达能力[46][47] 职业轨迹 谷歌生涯 - 2000年加入谷歌成为第200号员工,开发了谷歌广告系统PHIL和首个垃圾邮件检测机器学习系统[55][56] - 2012年加入Google Brain后转向深度学习,推动神经机器翻译落地[58] - 2023年回归谷歌担任Gemini联合技术主管[59] 创业经历 - 2021年因谷歌未发布LaMDA项目与同事创立Character.AI[62][63] - 公司以"AI角色"概念获得2000万用户,2023年以10亿美元估值融资1.5亿美元[67] - 2023年8月被谷歌以27亿美元收购,沙哥回归领导Gemini[69] 行业影响 - 当前主流模型架构(如GPT-4、DeepSeek、Qwen3等)均建立在沙哥奠定的技术基础上[12][41] - 2020年内部信预测语言模型将主导全球算力,这一判断已被验证[72][73] - 曾担任OpenAI早期顾问并推荐Sam Altman担任CEO[70][71]
虞晶怡教授:大模型的潜力在空间智能,但我们对此还远没有共识
36氪· 2025-05-09 17:34
生成式AI与空间智能技术发展 - 大模型技术仍有潜力未被充分挖掘 跨模态整合是未来重点方向[10][11] - 空间智能从数字孪生向智能理解进化 生成式AI推动三维场景理解与创造[12][13] - 文生3D技术突破传统建模限制 单张图片即可生成高质量三维模型[14][15] - 3D数据严重不足是当前主要瓶颈 真实场景的物体交互数据尤其匮乏[18][26] - 感知系统将发生革命性变革 未来可能出现全视角成像技术[28][36] 空间智能应用场景与商业化路径 - 短期聚焦影视娱乐与艺术创作 中长期将成具身智能核心基础模型[41][42] - 低空经济是潜力应用领域 需厘米级精度空间智能支持[43][44] - 养老机器人需解决翻身与洗澡两大核心问题 预计15年内成熟[47] - AI陪伴机器人技术已趋成熟 情感交互能力显著提升[48] - 本地化计算解决同步问题 低功耗推理芯片是关键[45][46] 行业研究格局与技术创新方向 - 工业界主导技术研发 Meta OpenAI等公司在空间智能领域领先[31][33] - 感知-认知-行为需整体考量 多模态结合弥补数据不足[36][37] - 具身智能需重新定义设计标准 鲁棒性和安全性取代精度[39][40] - 三维数据表达尚未统一 NeRF SDF等技术各有优劣[26][29] - 国内产学合作不足 制约技术发展速度[34] 教育领域变革趋势 - 编程课程将提前至高中阶段 CS基础成为必修内容[50] - AI课程将成通识教育 所有专业需掌握基础知识[50] - 教学模式转向短课程快迭代 紧密对接工业需求[51] - 教师需持续更新知识 传统教学内容面临挑战[51]
拜拜,昂贵的谷歌搜索 API!阿里开源 RL 框架让大模型自给自足、成本直降88%,网友:游戏规则变了
AI前线· 2025-05-09 13:18
核心技术突破 - 阿里巴巴研究人员发布名为"ZeroSearch"的新技术,可完全消除对昂贵商业搜索引擎API的需求,大幅降低AI系统训练成本和复杂度[1] - 该技术采用强化学习框架,允许大语言模型通过模拟方式开发高级搜索功能,无需在训练过程中与真实搜索引擎交互[2] - 使用3B参数的LLM作为模拟搜索引擎即可有效提升搜索能力,70亿参数模块性能媲美谷歌搜索,140亿参数模块甚至超越谷歌[3] 性能表现 - 在七个问答数据集测试中,ZeroSearch性能与真实搜索引擎训练模型相当或更优[3] - 表格数据显示ZeroSearch-inst在Qwen-2.5-7B模型上平均得分达40.54,显著高于传统方法[5] - 14B参数的SFT模型平均得分33.97,超越Google搜索引擎的32.47[6] 成本优势 - 使用64000个搜索查询训练时,Google API成本586.7美元,而14B参数模拟LLM仅需70.8美元,成本降低88%[7] - 技术消除了大规模RL训练中数十万次API调用产生的高额费用[2] 技术实现原理 - 通过轻量级监督微调将LLM转化为检索模块,生成相关和不相关文档响应查询[9] - 采用基于课程搜索模拟的推出策略,逐步增加训练难度[11] - 使用基于F1分数的奖励信号作为强化学习监督[12] 行业影响 - 技术突破可能改变AI开发经济模式,减少对大型技术平台的依赖[14] - 为预算有限的小型AI公司和初创企业创造公平竞争环境[14] - 显示AI系统可不依赖外部工具实现能力提升,未来技术格局或将重塑[15] 适用性与扩展性 - 技术适用于Qwen-2.5和LLaMA-3.2等多个模型系列[2] - 兼容PPO、GRPO等各种RL算法,无需单独监督预热阶段[2] - 增加GPU数量可显著提升模拟LLM生成吞吐量,实现高效大规模部署[4]
英特尔深入零售门店打造“智慧大脑”,重点发力海外
凤凰网· 2025-05-09 10:45
智慧零售解决方案 - 英特尔联合海石商用、中科英泰、吉方工控等生态伙伴展示智慧零售解决方案,利用大语言模型等AI技术推动零售智慧转型 [1] - 基于英特尔酷睿处理器、酷睿Ultra处理器、至强处理器和锐炫独立显卡等产品实现零售门店智慧转型,涵盖称重收银到智慧导购等功能 [1] - 公司提出智慧零售"边缘计算+端侧设备"架构,面向零售行业大语言模型部署方案 [1] 技术架构细节 - 端侧设备采用酷睿Ultra处理器作为算力平台,提供智能导购、缺货提醒、商品推荐等功能,可降低门店运营成本 [1] - 边端设备由酷睿Ultra处理器和多张锐炫独立显卡支持,用于陈列合规检测、人流动线分析等门店管理工作 [1] - 边缘服务器采用至强处理器和多张锐炫独立显卡,支持ERP代码生成、企业内部管理、大型门店监控等高复杂度业务场景 [1] AI技术应用 - AI POS方案采用不同级别算力平台,结合oneAPI软件工具集与OpenVINO工具套件进行性能优化 [2] - 公司将推出Edge AI项目,帮助零售领域客户支持传统AI或生成式AI设备在海外市场推广 [2] 行业趋势 - 零售行业正经历数字化转型,新兴技术如大模型带来发展机遇 [1] - 智慧零售解决方案可实现人脸识别关联购物历史、实时监控货架商品状态等消费场景 [1]