推理

搜索文档
OpenAI最早本周发布“o3或o4-mini”,“博士水平AI”要来了?
硬AI· 2025-04-15 23:34
编辑 | 硬 AI OpenAI最新模型取得突破性进展:具备原创构思能力。 点击 上方 硬AI 关注我们 据介绍,最新模型不仅能总结研究论文或解决数学问题,还能够独立提出新构思,连接不同领域的概念,提出创新性实验 设计,完成需要科学家跨领域合作才能实现的成果,相当于"博士水平AI"。 硬·AI 作者 | 李笑寅 据媒体援引知情人士消息, OpenAI最早将在本周发布代号为o3或o4-mini的新模型, 该模型不仅能总结 研究论文或解决数学问题,还能够独立提出新构思,连接不同领域的概念,提出创新性实验设计。 据介绍,即将推出的新模型能同时利用物理学、工程学和生物学等多个领域的知识,提供跨学科的解决方 案,而科学家通常需要跨领域合作才能实现类似成果,相当"博士水平AI"。 硬·AI OpenAI总裁Greg Brockman在2月的"AI研讨会"活动上曾表示: "我们真正的方向是开发能够花大量时间认真思考重要科学问题的模型,我希望在未来几年内,这将 使所有人的效率提高10倍或100倍。" * 感谢阅读! * 转载、合作、交流请留言,线索、数据、商业合作请加微信:IngAI2023 * 欢迎大家在留言区分享您的看法 ...
榨干3000元显卡,跑通千亿级大模型的秘方来了
量子位· 2025-04-14 17:09
金磊 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 书接上回 ,用几块 3000元 显卡作为加速主力的 一体机 ,就能跑通671B的 DeepSeek 。 放在个把月前,你敢想象这样的场景么? 正在埋头苦干,希望有更多样化产品交付的一体机厂商们,pick 英特尔锐炫 显卡 + 至强 W 处理器 这套组合拳,首要原因就是它的成本确 实诱人——基本算是砍掉了一个数量级 (下线可以控制在10万元以内) 。 其次就是这套组合也很能打,上面那个场景就是它目前的 "标杆式"战绩。 这两点加起来就是"真香"定律的复现。 但别光说不练,这种极具性价比的一体机实测的体感到底如何呢? 带着这个问题,我们直接上手亲自测试了一波。 例如我们先用QwQ-32B离线状态下问了个经典题目: 9.9和9.11哪个大? 同样的,我们可以看到输出速度依旧是非常的快。 从效果上来看,若是 单人 使用,一体机的速度已经达到了 32 tokens/s 。 讲真,这个速度在体感上已经是非常OK了。 而且这还不是个偶然事件,在同样的情况下,我们再问一个问题: 一个外星人来到地球后等可能选择以下四件事中的一件完成: 1,自我毁灭; 2,分裂成两个外 ...
王小川反思创业 2 年失误:战线过长、商业化过早,部分团队目标摇摆
YOUNG财经 漾财经· 2025-04-13 19:55
文章核心观点 - 百川智能创始人王小川在公司成立两年时发布全员信,回顾创业成绩与不足,指出后续发展方向,其经历是国内大模型创业独角兽发展缩影,创始人需引领团队闯出适合自身的发展之路 [1][2] 行业情况 - 2025年美国投资热潮涌向医疗AI,比尔·盖茨预测AI将取代医生,Bloomberg预测苹果将于2026年推出AI健康教练替代真人医生 [1] 公司不足 - 战线拉得太长,缺乏足够聚焦,涉足通用基础模型、医学增强推理模型、百小应和AI医生应用等,还过早商业化,提升了组织复杂程度 [1] - 2024年年中战略会议明确聚焦医疗方向,但对医疗领域投入的决心和路径要求传达不到位,部分团队工作目标出现动摇和偏差 [1] 公司后续方向 - 围绕百小应、AI儿科、AI全科、精准医疗四个方向全力聚焦,减少不必要行动,深入思考且坚定不移 [2] - 降低组织复杂程度,实行扁平化层级管理,让公司决策信息传递更顺畅 [2]
大模型一体机塞进这款游戏卡,价格砍掉一个数量级
量子位· 2025-04-09 16:58
大模型一体机硬件选择 - 大模型一体机中可使用英特尔锐炫显卡作为N卡的替代方案 [1][2] - 飞致云测试显示4张锐炫A770显卡完成大型任务耗时50分钟,比N卡方案慢20分钟但成本仅为半张N卡价格 [6][7] - 英特尔方案将私有化部署成本从百万元级降低一个数量级,性价比显著提升 [12][13][14] 英特尔技术组合优势 - 采用锐炫显卡+至强W处理器的组合拳模式,显卡负责推理加速,CPU协调计算与异构加速 [16][17][20] - 通过优化显存带宽(A770卡间通信20G/秒)和低时延技术提升多卡并行效率,支持70B模型12路实时聊天 [20] - 适配多样化场景:2卡工作站至8卡一体机均可部署,覆盖30-50人团队需求 [9][20][30] 行业应用案例 - 飞致云MaxKB系统应用于知识问答、智能客服等场景,实现效率与成本优化 [5][22] - 超云推出塔式工作站至8卡高端一体机,支持32B-70B模型金融投顾、文档处理 [28][29][30][38] - 云尖边缘推理工作站支持4卡轻量化模型,适用于OCR、智能质检等本地化AI应用 [32] 一体机部署趋势 - 开箱即用、深度定制化特点加速企业部署,无需复杂调试且启动成本低 [35][36][37] - 一体机在运维简化、稳定性和专机专用方面优于传统IT系统与云服务 [39][40][41] - 英特尔方案兼容DeepSeek、Qwen、Baichuan等主流开源模型,适配多业务场景 [43][44] 行业生态与愿景 - 开源模型推动AI普惠,一体机承担类似PC普及的历史使命 [45][46] - 英特尔复刻PC时代成功经验,联合合作伙伴降低AI部署门槛 [46]
DeepSeek前脚发新论文,奥特曼立马跟上:GPT-5就在几个月后啊
量子位· 2025-04-05 12:45
OpenAI产品计划调整 - OpenAI计划改变发布顺序,将在几周后先发布o3和o4-mini模型,而非直接推出GPT-5 [3] - GPT-5预计推迟至几个月后发布,效果将优于最初预期 [4] - 推迟原因是技术整合难度超出预期,需确保足够能力支持需求 [6] DeepSeek新论文技术突破 - 论文提出SPCT方法(Self-Principled Critique Tuning),首次通过在线强化学习优化原则和批判生成,实现推理时扩展 [10][12] - 研究针对现有奖励模型(RM)在通用领域的局限性,解决灵活性和准确性两大挑战 [14][16][17] - SPCT包含三大核心技术:生成式奖励模型(GRM)、基于规则的在线RL训练、推理时扩展技术(采样投票+辅助模型过滤) [21][22][23][24] 性能表现与行业对比 - DeepSeek-GRM-27B在Reward Bench基准准确率从86%提升至90.4%(32次采样) [27] - 在PPE、RMB等综合评估中超越基线方法(如LLM-as-a-Judge、标量RM)及部分公开模型(如Gemini-1.5-Pro、Claude-3.5-sonnet) [28] - 推理时扩展性能优于训练时扩展,验证方法有效性 [28] 行业动态与竞争 - DeepSeek发布新论文后,OpenAI迅速调整产品计划,显示行业技术竞争加剧 [8] - 奥特曼借机宣传两本参与著作,涉及个人传记及OpenAI发展史 [29]
AI芯片,需求如何?
半导体行业观察· 2025-04-05 10:35
行业格局变化 - 2023年AI推理领域出现新趋势,传统云服务商(AWS、Azure、谷歌云)之外涌现大量配备Nvidia芯片的GPU云提供商,形成新的竞争格局[1] - 行业出现重大转变,大多数AI基础设施开始在三大云提供商之外构建,创造新的市场机会[1] - 新兴GPU云提供商建立的数据中心配备数千个Nvidia芯片,推动AI推理等计算需求[1] Parasail公司概况 - 由Mike Henry和Tim Harris于2023年底创立,获得1000万美元种子资金[1] - 商业模式类似电力公司,连接AI推理需求方与GPU计算资源供应方[1] - 提供聚合的无合同GPU容量,宣称超过Oracle云基础设施规模[2] - 使用AI部署网络连接企业与GPU提供商,确保工作负载获得所需计算能力[2] 技术优势 - 成本优势显著:相比OpenAI或Anthropic可节省15-30倍成本,相比其他开源提供商节省2-5倍[3] - 部署速度快:GPU设置仅需数小时,推理可在几分钟内完成[3] - 提供多种Nvidia GPU选择,包括H200、H100、A100和RTX4090,价格区间为每小时0.65-3.25美元[3] - 构建全球性Kubernetes编排系统,克服不同GPU云提供商的技术差异[5][6] - 实现跨多个提供商的集群管理,使全球GPU云成为工作节点[6] 市场表现 - 2024年1月开始封闭测试,需求持续增长[8] - 年度经常性收入(ARR)已超过七位数[8] - 客户包括SambaNova、Oumi、Rasa和Elicit等AI领域公司[8] 行业洞察 - 市场存在"奇怪悖论":GPU看似稀缺但实际有大量闲置容量,问题在于优化和利用率不足[9] - 下一代AI应用需求几乎无限,将取代传统互联网应用[9] - 当前市场Nvidia GPU占主导地位,但预计未来会发生变化[9] 团队背景 - 创始人Henry曾创立AI平台公司Mythic,融资1.65亿美元,开发过AI加速硬件[2] - 联合创始人Harris是自动驾驶公司Swift Navigation的创始人[2] - 计划扩充目前12人的团队,重点增加工程岗位[9]
NVIDIA GTC 2025:GPU、Tokens、合作关系
Counterpoint Research· 2025-04-03 10:59
AI经济与Tokens化 - Tokens是用于检索或生成信息的新型"货币",推动AI经济发展,需要大量算力支持[1] - AI推理模型复杂度提升需要更高准确性,组织机构需遵循预训练、后训练和测试时的扩展流程[1] - NVIDIA愿景聚焦构建跨行业"AI工厂",涵盖企业IT、云计算到机器人技术[1] NVIDIA芯片技术进展 - 发布Blackwell超级AI工厂平台GB300 NVL72,AI性能比GB200 NVL72提升1.5倍[6] - 公布芯片路线图,支持从Hopper系列升级到Rubin/Feynman系列,Rubin Ultra采用四掩模版GPU,FP4精度达100 petaFLOPS,搭载1TB HBM4e存储器[6] - 新款Vera CPU拥有88个Arm核心,性能是Grace CPU两倍,功耗仅50W,更新周期两年[6] - 推出Spectrum-X硅光子学产品,可横向扩展至数百万GPU,节省数兆瓦电力[6] 系统与基础设施 - 发布DGX SuperPOD GB300,配备36个Grace CPU和72个Blackwell GPU,AI性能比Hopper系统高70倍[10] - 采用第五代NVLink技术和大规模共享内存系统,可扩展至数千个GB超级芯片[10] - 推出1 petaFLOPS的个人超级计算机系统GB10,针对桌面优化微调与推理[14] 软件生态系统 - Dynamo开源框架提升AI推理效率,可使GPU的Tokens生成能力提升30倍以上[19] - Halos平台整合自动驾驶安全系统,覆盖从芯片到算法全链条[20] - CUDA-X拥有超100万开发者,成为最受欢迎的AI编程工具包[23] - 发布Isaac GR00T N1人形机器人基础模型,采用双系统架构模拟人类决策与反射[25] 行业应用拓展 - Aerial平台构建端到端AI驱动的6G技术栈,与T-Mobile等合作开发原生AI网络[23] - Omniverse-Cosmos平台支持机器人训练与场景微调,与DeepMind合作开发物理引擎[25] - 软件专业技术是NVIDIA核心优势,推动高性能芯片在HPC、自动驾驶等领域的应用[25]
智谱想给DeepSeek来一场偷袭
虎嗅· 2025-03-31 20:39
文章核心观点 智谱在3月31日中关村论坛闭幕式现场推出新模型反击DeepSeek,同时公司在商业化布局、技术研发等方面有相应规划和思考,以应对行业变化和挑战 [2][6] 公司动态 - 3月31日智谱在智能体产品和基座模型两大维度分别推出"AutoGLM沉思模型"和推理模型GLM - Z1 - Air,Air用32B参数比肩671B的DeepSeek R1模型,价格仅为其1/30,且将于4月14日正式开源 [2] - 智谱CEO张鹏称公司在为IPO铺路但无具体计划,商业化以端侧为切口渗透七大行业,还宣布与东盟十国及“一带一路”沿线国家共建“自主大模型共建联盟” [6] - 智谱2023年开始在Agent领域投入,现阶段认为进入可大规模应用和落地阶段 [16] - 智谱会对具身智能进行相应布局,但还需时间 [19] 行业现状 - 2025年大模型圈“预训练”难成关键词,大模型六小虎中百川智能大批核心成员离职并砍掉部分业务,零一万物放弃万亿参数赛道转向B端业务 [3] - 自2025年初DeepSeek以“成本优势 + 开源”撕开市场缺口,头部云厂商依托生态优势卡位,大模型创业公司用价格力挽狂澜 [9] - 第一季度资本对大模型初创公司失去耐心,除智谱连续拿到地方产投融资,无市场化资本进入其余大模型企业 [4] - 大模型企业面临商业化难题,预训练未能让基座模型厂商形成护城河 [5][6] 对话问答 开源策略与商业化 - 开源是智谱从第一天开始坚持的事,宣布2025年为开源年是考虑DeepSeek对技术生态和认知的影响,公司认为模型即服务(MaaS)会落地,开源与否不是关键问题 [12] 预训练与推理模型 - 预训练仍很重要,是RL等方法的基座模型天花板,其中预训练的架构、数据使用效率等有很多待研究点 [13] - 推理模型在泛用性任务上表现不及预期,但技术改进会产生新可能,其应用受技术发展阶段影响 [14] 融资计划 - 实现AGI路程长,从0到1开拓试错成本高,公司走在前面的部分需加大投入 [15] Agent领域 - Agent核心能力是模型本身能力和感知环境与环境智能交互能力,AutoGLM更早用于手机端,其他端侧也可接入,但存在设备交互方式和硬件适配问题 [17] 战略层面 - 公司定位技术驱动,技术研发和商业化两条腿动态调整,目前核心任务和资源投入仍侧重技术研发 [21] 落地预期 - 去年公司整体实现超100%增长,今年预计市场呈十倍以上增长,公司会保持稳定商业化落地速度和效益 [22]
业界突破多模态泛化推理能力,OPPO研究院&港科广提出OThink-MR1技术
量子位· 2025-03-30 10:37
多模态大模型技术突破 - OThink-MR1技术通过动态强化学习框架显著提升多模态语言模型的泛化推理能力,突破传统方法的局限性[1][7][29] - 传统监督微调(SFT)方法在特定任务表现良好但缺乏通用推理能力,而强化学习(RL)存在训练约束导致次优瓶颈的问题[4][5] 核心技术机制 - 动态KL散度策略(GRPO-D)动态调整探索与利用的平衡,避免模型陷入局部最优解[8][10][11][12] - 双奖励模型设计包含验证准确性奖励和格式奖励,通过多维度反馈提升模型学习效率[13][14][15] 实验验证结果 - 同任务评估中GRPO-D表现超越监督微调方法,在视觉计数和几何推理任务成绩提升显著[17][18][28] - 跨任务评估显示GRPO-D模型在完全不同的任务类型间展现强泛化能力,成绩较未训练模型大幅提高[21][22][23][24] - 格式奖励权重非零时模型表现更优,KL散度权重需适中调节以取得最佳效果[17][18] 行业影响 - 该技术为多模态语言模型发展开辟新路径,展现动态强化学习在提升推理与泛化能力方面的潜力[29] - 技术由OPPO研究院与香港科技大学(广州)联合研发,论文已公开发表于arXiv平台[30]
陈立武致股东的一封信,披露英特尔未来战略
半导体行业观察· 2025-03-28 09:00
新任CEO的战略方向 - 新任CEO陈立武上任后首要任务是重新聚焦客户需求,推动文化变革以加速行动效率和简化合作流程 [2] - 强调从"空谈"转向实际行动,领导团队已开始推动组织变革,目标是更快执行、更智能工作并赋能员工技术创新 [2] - 承认2024年业绩未达预期,但第四季度收入、毛利率和每股收益均超预期,为2025年提供改进基础 [3] 成本优化与运营调整 - 已实施100亿美元成本削减计划,包括裁员15%以精简业务规模,同时保持关键增长领域投资 [3] - 持续降低运营费用和资本支出,简化产品组合并减少组织复杂度 [3] 产品业务布局 - PC芯片领域保持70%市场份额,通过Core Ultra系统强化AI PC领导地位 [4] - 与200+独立软件供应商合作优化400+功能,巩固CPU市场优势 [4] - 数据中心领域近75%主要工作负载运行于英特尔芯片,Xeon 6产品组合正缩小与竞争对手差距 [4][5] - 产品路线图:2024下半年推出18A制程的Panther Lake,2026年推出Nova Lake客户端芯片及Clearwater Forest服务器芯片 [4][5] 代工业务与技术发展 - 英特尔18A工艺进展顺利,年中将完成首批外部客户项目设计并投入晶圆制造 [6] - 亚利桑那州工厂将于2024年启动18A工艺量产,同步推进未来节点路线图 [6] - 优化资本支出以匹配市场需求,推动代工业务盈利 [6] AI与数据中心战略 - 凭借AI服务器主机CPU优势布局本地推理和边缘AI应用 [5] - 计划开发机架级系统解决方案以提升云AI数据中心市场竞争力 [5]