推理模型

搜索文档
国产六大推理模型激战OpenAI?
创业邦· 2025-04-30 18:09
大模型行业发展趋势 - 2025年春节前DeepSeek-R1模型发布成为行业分水岭,重新定义中国大模型叙事逻辑 [8][10] - 2023年国内开启"百模大战",2024年"AI六小虎"成为主角,智谱累计融资40亿元,月之暗面融资超13亿美元 [10] - 2025年行业主题转变为"六大推理模型迎战OpenAI",百度、阿里、字节、腾讯、科大讯飞等厂商快速跟进发布推理模型 [10][19] 技术路线演变 - OpenAI模型体系分为GPT系列和o系列,2024年o1发布标志转向"结构化推理"能力 [12][15] - 大模型范式从预训练参数Scaling Law转向强化学习推理计算新Scaling Law [15] - GPT系列将逐步退出,GPT4将于2025年4月30日退役,完全被GPT4o取代 [15] 国内主要厂商动态 - DeepSeek-R1训练成本仅560万美元,远低于美国公司数千万美元投入,具有极致性价比 [23] - 百度文心X1采用"思维链-行动链"协同训练,可自动拆解复杂任务为20多个推理步骤 [23] - 科大讯飞星火X1基于全国产算力训练,在重点行业测试中超越OpenAI和DeepSeek [25] - 字节豆包模型价格降至0.0008元/千Tokens,主导行业价格战 [25] - 腾讯混元通过集团资源倾斜实现逆袭,2025年春节后获得重点推广 [25] 行业竞争格局 - 国内六大推理模型水平接近OpenAI o3,部分测试指标实现超越 [22] - 模型性能只是客户选择标准之一,还需考虑数据、生态等多方面因素 [25] - AI六小虎面临转型压力,方向与大厂重合但资源依赖大厂 [28] 国产化进程 - 英伟达可能暂停RTX 5090D供应,加剧行业"卡脖子"风险 [28] - 科大讯飞通过四大核心技术优化实现MoE模型集群推理性能翻倍 [28] - 全栈国产化大模型有望成为新主流,摆脱国际环境制约 [28][29]
不要思考过程,推理模型能力能够更强丨UC伯克利等最新研究
量子位· 2025-04-29 16:02
实验数据显示,在低资源情况 (即少token数量、少模型参数) 或低延迟情况下,Nothinking方法得出的结果均优于Thinking方法的结果, 实现比传统思考方式更好的精度- 延迟权衡。 其他情况下,NoThinking方法在部分数据集上的表现也能超越Thinking。 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 其实…… 不用大段大段思考,推理模型也能有效推理! 是不是有点反常识?因为大家的一贯印象里,推理模型之所以能力强大、能给出准确的有效答案,靠的就是长篇累牍的推理过程。 这个过程往往用时很长,等同于需要消耗大量算力。已经有一些研究尝试提高推理效率,但大多仍依赖显式思考过程。 来自UC伯克利和艾伦实验室团队的最新研究结果打破了这一刻板印象—— 通过简单的prompt绕过「思考」这一过程直接生成解决方案,可能同样有效,甚至更好。 这种方法被称为 "无思考(NoThinking)"方法 。 「思考」和「无思考」 研究团队以DeepSeek-R1-Distill-Qwen模型为基础,提出了NoThinking方法。 咱们先来分辨一下Thinking和NoThinking的区别在哪里。 Thin ...
OpenAI最早本周发布“o3或o4-mini”,“博士水平AI”要来了?
硬AI· 2025-04-15 23:34
编辑 | 硬 AI OpenAI最新模型取得突破性进展:具备原创构思能力。 点击 上方 硬AI 关注我们 据介绍,最新模型不仅能总结研究论文或解决数学问题,还能够独立提出新构思,连接不同领域的概念,提出创新性实验 设计,完成需要科学家跨领域合作才能实现的成果,相当于"博士水平AI"。 硬·AI 作者 | 李笑寅 据媒体援引知情人士消息, OpenAI最早将在本周发布代号为o3或o4-mini的新模型, 该模型不仅能总结 研究论文或解决数学问题,还能够独立提出新构思,连接不同领域的概念,提出创新性实验设计。 据介绍,即将推出的新模型能同时利用物理学、工程学和生物学等多个领域的知识,提供跨学科的解决方 案,而科学家通常需要跨领域合作才能实现类似成果,相当"博士水平AI"。 硬·AI OpenAI总裁Greg Brockman在2月的"AI研讨会"活动上曾表示: "我们真正的方向是开发能够花大量时间认真思考重要科学问题的模型,我希望在未来几年内,这将 使所有人的效率提高10倍或100倍。" * 感谢阅读! * 转载、合作、交流请留言,线索、数据、商业合作请加微信:IngAI2023 * 欢迎大家在留言区分享您的看法 ...
智谱想给DeepSeek来一场偷袭
虎嗅· 2025-03-31 20:39
文章核心观点 智谱在3月31日中关村论坛闭幕式现场推出新模型反击DeepSeek,同时公司在商业化布局、技术研发等方面有相应规划和思考,以应对行业变化和挑战 [2][6] 公司动态 - 3月31日智谱在智能体产品和基座模型两大维度分别推出"AutoGLM沉思模型"和推理模型GLM - Z1 - Air,Air用32B参数比肩671B的DeepSeek R1模型,价格仅为其1/30,且将于4月14日正式开源 [2] - 智谱CEO张鹏称公司在为IPO铺路但无具体计划,商业化以端侧为切口渗透七大行业,还宣布与东盟十国及“一带一路”沿线国家共建“自主大模型共建联盟” [6] - 智谱2023年开始在Agent领域投入,现阶段认为进入可大规模应用和落地阶段 [16] - 智谱会对具身智能进行相应布局,但还需时间 [19] 行业现状 - 2025年大模型圈“预训练”难成关键词,大模型六小虎中百川智能大批核心成员离职并砍掉部分业务,零一万物放弃万亿参数赛道转向B端业务 [3] - 自2025年初DeepSeek以“成本优势 + 开源”撕开市场缺口,头部云厂商依托生态优势卡位,大模型创业公司用价格力挽狂澜 [9] - 第一季度资本对大模型初创公司失去耐心,除智谱连续拿到地方产投融资,无市场化资本进入其余大模型企业 [4] - 大模型企业面临商业化难题,预训练未能让基座模型厂商形成护城河 [5][6] 对话问答 开源策略与商业化 - 开源是智谱从第一天开始坚持的事,宣布2025年为开源年是考虑DeepSeek对技术生态和认知的影响,公司认为模型即服务(MaaS)会落地,开源与否不是关键问题 [12] 预训练与推理模型 - 预训练仍很重要,是RL等方法的基座模型天花板,其中预训练的架构、数据使用效率等有很多待研究点 [13] - 推理模型在泛用性任务上表现不及预期,但技术改进会产生新可能,其应用受技术发展阶段影响 [14] 融资计划 - 实现AGI路程长,从0到1开拓试错成本高,公司走在前面的部分需加大投入 [15] Agent领域 - Agent核心能力是模型本身能力和感知环境与环境智能交互能力,AutoGLM更早用于手机端,其他端侧也可接入,但存在设备交互方式和硬件适配问题 [17] 战略层面 - 公司定位技术驱动,技术研发和商业化两条腿动态调整,目前核心任务和资源投入仍侧重技术研发 [21] 落地预期 - 去年公司整体实现超100%增长,今年预计市场呈十倍以上增长,公司会保持稳定商业化落地速度和效益 [22]
喝点VC|a16z关于DeepSeek的内部复盘:推理模型革新与20倍算力挑战下的AI模型新格局
Z Potentials· 2025-03-23 13:10
文章核心观点 - DeepSeek R1作为高性能推理模型代表开源透明特性推动行业技术发展[3][4] - 推理模型通过多阶段训练实现自我反思和链式思维显著提升复杂问题解决能力[11][13][20] - 模型创新聚焦计算效率优化包括MLA架构和GRPO算法降低训练与推理成本[30][31] - 开源模型生态加速应用创新使本地设备运行高性能AI成为可能[36][37] DeepSeek技术架构 - 采用多头潜注意力机制(MLA)优化KV向量存储效率支持扩展上下文长度至128K[30] - 引入耦合绳(couple rope)技术解决位置向量丢失问题提升长文本处理能力[30] - 使用FP8混合精度训练和GRPO采样算法提升训练效率减少计算资源消耗[30][31] 多阶段训练流程 - 预训练阶段基于互联网全量数据使用H100 GPU集群进行下一代token预测[6][27] - 有监督微调(SFT)使用人类生成示例教导模型直接输出答案而非自动补全[7][9] - 基于人类反馈的强化学习(RLHF)通过偏好评分优化答案质量[9][10] - R1训练包含两次SFT和两次RL阶段累计使用80万条样本(60万数学代码+20万创造性写作)[26] 模型性能突破 - R1答案长度从1000 tokens增至1万 tokens实现20倍推理量增长[20] - 在数学编程等可验证领域通过自我纠错机制实现答案准确率提升[13][22] - 蒸馏版本在7B参数设备运行效果优于直接应用RL训练[35][38] 行业影响与趋势 - 推理模型需求推动GPU算力增长20倍测试时计算成为新瓶颈[31][33] - 开源模型促使多厂商性能差距缩小行业竞争从数据规模转向训练方法创新[34] - 550万美元训练成本显示高效实验设计重要性(最终测试仅占小部分成本)[27][29] 应用场景拓展 - 本地化部署支持MacBook等设备通过Ollama开源软件实现离线推理[36] - 量化技术进一步降低设备门槛推动边缘计算场景落地[37] - 可验证领域(数学/代码/谜题)成为推理模型优先落地方向[14][26]
解读英伟达的最新GPU路线图
半导体行业观察· 2025-03-20 09:19
高科技公司路线图的重要性 - 高科技公司通常拥有技术路线图以向关键投资者和客户展示未来技术发展路径 [1] - 路线图可降低技术规划和采用风险 尤其在芯片制造难度加大的市场环境中 [1] - 部分公司如Oracle、Nvidia和AMD曾通过公开路线图展示技术迭代计划 [2] Nvidia的技术路线图战略 - Nvidia通过公开路线图向超大规规模客户展示其持续领先的技术开发能力 [2] - 路线图涵盖GPU、CPU、纵向扩展网络和横向扩展网络等多领域技术 [3] - 公司未将Quantum系列InfiniBand交换机纳入路线图 因AI领域更倾向以太网解决方案 [4] Blackwell系列GPU技术细节 - Blackwell B100/B200 GPU实际发布于2023年 而非路线图标注的2024年 [5] - B300 GPU内存容量提升50%至288GB FP4性能提升50%达15千万亿次浮点运算 [7] - GB300 NVL72系统FP4推理性能达1100 petaflops FP8训练性能360 petaflops 计划2025年下半年上市 [7] ConnectX系列网络技术进展 - ConnectX-8 SmartNIC速度达800Gb/秒 是前代ConnectX-7的两倍 计划2024年推出 [8] - 2028年将推出ConnectX-10 NIC 速度进一步提升至3.2Tb/秒 [18] Vera Rubin架构创新 - 2026年推出的Vera CV100 Arm处理器采用88核设计 支持同步多线程至176线程 [8] - NVLink C2C带宽翻倍至1.8TB/秒 与Blackwell GPU的NVLink 5匹配 [8] - Rubin R100 GPU配备288GB HBM4内存 带宽提升62.5%至13TB/秒 [9][10] 机架级系统性能飞跃 - VR300 NVL144系统FP4性能达50千万亿次浮点运算 是GB200系统的5倍 [13] - 2027年Rubin Ultra GPU将集成4个芯片于单插槽 FP4性能100 petaflops 配备1TB HBM4E内存 [14] - VR300 NVL576系统采用Kyber液冷机架设计 推理性能达15百亿亿次浮点运算 是当前系统的21倍 [16][17] 未来技术规划 - 2028年"费曼"GPU将搭配Vera CPU和3.2Tb/秒ConnectX-10 NIC [18] - 路线图显示Nvidia将持续提升NVSwitch带宽 2028年达7.2TB/秒 [18] - 公司通过系统级创新保持AI计算领域的技术领先地位 [19]
从腾讯百度到车企券商,为何「万物」都想接入 DeepSeek?
声动活泼· 2025-03-14 13:45
根据国泰君安的研报,自从 DeepSeek 爆火之后,接入他们大模型的需求在短时间内迅速增加。从 2 月初至 今,腾讯、百度、阿里等互联网大厂,不仅在各自的云计算平台上线了 DeepSeek 模型。在直接面向用户的 业务上,即使这些巨头都拥有自己的大模型,但依然让旗下的部分应用接入了 DeepSeek。其中,包括月活 跃用户量达 13.8 亿的微信,以及曾因广告收入受影响、对 AI 搜索存在顾虑的百度。 除了互联网大厂,吉利、一汽大众等几十家车企、华为等主流手机厂商、三大电信运营商,也都在短时间 内完成了接入。甚至有些银行、券商、公募基金,以及国内部分地区的各类政府部门,也加入了这个行 列。比如,有些银行把 DeepSeek 应用到了面向用户的智能客服上。深圳、广州、呼和浩特、无锡等地的政 府,也宣布在政务系统中接入了 DeepSeek 模型,希望提升政务办公效率和群众办事体验。 那么,从汽车品牌到券商甚至政府,为什么大家纷纷都想要接入 DeepSeek? ▲ 近日,吉利汽车正式官宣其自研大模型与 DeepSeek 已完成深度融合。| 图源:吉利汽车集团微信公众号 财新的报道指出,腾讯等大厂积极接入 Deep ...
AI转向”推理模型和Agent时代“,对AI交易意味着什么?
硬AI· 2025-03-10 18:32
行业趋势转变 - AI行业正经历从传统大模型向推理模型和Agent的转变 强调"巧"而非"大" [2][4] - 模型进化方向从死记硬背转向链式思考(CoT) 实现多步验证和精准输出 [5] - 应用范式从聊天机器人升级为能执行任务的Agent 覆盖客户服务 金融分析等场景 [7] 技术路径分化 - 两种发展情景:Chinchilla缩放持续有效则2028年模型达65万亿参数 或预训练停滞转向推理优化 [10][11] - 推理模型代表如OpenAI的o1/o3和DeepSeek R1 已展现更高基准测试成绩及成本优势 [5] - 算力需求结构变化:推理计算占比将超50% 2028年推理算力缺口达2500亿exaFLOPS [13] 产业链影响 - 芯片需求从通用训练芯片转向定制推理芯片 网络设备商持续受益 [9][18] - 开源模型(Llama/DeepSeek)发展迅速 但微调成本仅为大模型训练的小部分 [15][16] - 科技巨头自由现金流可能改善 因推理成本下降减少资本支出压力 [19] 投资逻辑重构 - 缩放定律有效时优先布局芯片/设备供应商 警惕高资本支出科技企业 [1][18] - 预训练停滞则关注科技巨头现金流回升及用户基数大的应用类公司 [1][19] - ChatGPT两月新增1亿用户显示Agent应用爆发潜力 [7]
算力又演绎到了 熟悉的节奏
小熊跑的快· 2025-03-06 07:37
文章核心观点 算力演绎到23年云租赁逻辑,仍在云框架内,阿里新模型QwQ - 32B性能出色且开源,推动国内推理需求和应用部署 [1] 行业动态 - 算力发展演绎到23年云租赁逻辑,未脱离云的整体框架 [1] 公司动态 - 阿里Qwen团队发布QwQ - 32B大语言模型,拥有320亿参数,性能可与具备6710亿参数(370亿被激活)的DeepSeek - R1媲美,在约1/21参数量情况下用强化学习实现性能跨越 [1] - 阿里在推理模型中集成与Agent相关能力,使其能使用工具、批判性思考并根据环境反馈调整推理过程 [1] - QwQ - 32B在Hugging Face和ModelScope开源,推动国内推理需求和应用部署,模型更小成本更低利于垂直部署 [1]
【太平洋科技-每日观点&资讯】(2025-02-28)
远峰电子· 2025-02-27 20:03
行情速递 - 主板领涨个股包括德明利(+6.12%)、和而泰(+4.03%)、盈方微(+2.86%)、歌尔股份(+2.61%)、有研新材(+2.55%)[1] - 科创板领涨个股包括云从科技-UW(+19.98%)、天德钰(+13.56%)、翱捷科技-U(+10.04%)、英集芯(+8.28%)、思特威-W(+6.83%)[1] - 活跃子行业中,SW数字芯片设计(+0.55%)和SW被动元件(+0.33%)表现突出[1] 国内新闻 - 2024年中国半导体产业投资总额为6831亿人民币,同比下降41.6%,但半导体设备投资逆势增长1.0%,达到402.3亿人民币[1] - 晶合集成与思特威签署战略合作协议,第一阶段将提供月产能1.5万片Stacked晶圆,第二阶段提升至4.5万片[1] - DeepSeek开源三项优化并行策略,详细展示DeepSeek-V3和R1模型的并行计算优化技术[1] - 芯原股份推出AI图像处理系列IP,包括AINR1000、AINR2000(智能降噪)和AISR1000、AISR2000(超分辨率),覆盖汽车、监控等领域[1] 公司公告 - 华海诚科2024年营收3.32亿元(+17.21%),归母净利润4080万元(+28.97%)[2] - 天承科技2024年营收3.81亿元(+12.32%),归母净利润7684万元(+31.19%)[2] - 微导纳米2024年营收27.00亿元(+60.74%),主要因光伏和半导体设备验收数量增长[2] - 芯源微2024年营收17.70亿元(+3.09%),归母净利润2.11亿元,高温硫酸清洗机台通过客户验证[2] 海外新闻 - 2024年全球电视出货量2.3亿台(+2%),中国出货量首次超过韩国[2] - 2024年全球智能眼镜销量298.3万副,2025年预计增长超4倍,苹果、谷歌等40余家厂商布局[2] - 英伟达财报显示推理需求加速,Blackwell Ultra芯片预计下半年推出[2] - 2024年Q4全球DRAM营收突破280亿美元(+9.9%),Server DDR5合约价上涨及HBM出货推动增长[2] 行业研究团队 - 孙远峰为太平洋证券科技行业首席分析师,团队专注于产业资源赋能研究,获2023年君鼎奖及Wind金牌分析师进步最快奖[3]