Workflow
scaling law
icon
搜索文档
大模型发展情况综述
2025-07-28 09:42
纪要涉及的行业 人工智能行业 纪要提到的核心观点和论据 1. **发展阶段与趋势** - 2025 年是大模型技术从研发向应用落地转折的重要时期,参数化应用持续演进,呈现标准化和大众化趋势[1][2] - 大模型发展关键节点可追溯到 2017 年,2020 年后数据变为无标注、学习方法转为无监督,参数量和数据量大幅增长[4] 2. **全球与中国发展格局** - 全球格局上美国在算力方面领先,中国在效率方面领先,中美顶级 AI 模型能力差距从 2023 年的 20%缩小至 0.3%[1][5][18] - 美国 Cloud 4 商业成功且展示代码定义能力,中国企业通过 MOE 架构优化、低精度训练等实现高效开发[18] 3. **资本市场态度** - 资本市场对人工智能投资态度从 2023 - 2024 年的研发投入回调到 2025 年的确定性和稳定性增强[1][6] - 2025 年二季度海外供应链估值提升、EPS 持续兑现,对国产大模型预期悲观但有修正机会和收益[1][2][6] 4. **技术进展与影响** - 强化学习在后训练部分显著提升大模型推理能力,通过延长思考时间提高准确率,蒸馏技术让小模型有高准确率[7] - 推理时间计算对大模型性能影响大,推理时间越长准确率越高且进步快[8] - 2025 年上下文窗口长度显著增加,提升大模型处理长文本信息能力[9] - 原生多模态技术降低延迟、提升 AI 视频生成效果,国产 AI 视频有优势[10] - 从 GROCK2 到 GROCK4 预训练和强化学习算力需求有变化,人类对算力需求随技术演进增加[11] 5. **商业化潜力** - Agent 和群体智能发展迅速,距离商业化仅一步之遥,Agent 工作能力强,群体智能在金融领域有优势[12][15] - AI 应用收入增速快,AI 搜索和 AI 编程领域表现突出,付费意愿高、商业化潜力超传统应用[25][26] 6. **准确率提升因素** - 大模型准确率提升得益于实时数据集成和检索增强生成技术,合成数据作用日益重要[3][16][17] 7. **技术挑战与优化** - 低精度训练技术降低算力成本但面临挑战,新架构探索优化计算效率,AI 幻觉问题有改善但进展波动[3][19][20][24] 其他重要但是可能被忽略的内容 1. 中信建投人工智能研究报告约 500 页,全面覆盖行业细节和发展状况[2] 2. 第三代智能体采用端到端方式执行任务,有望从专用到通用,应用范围广泛[14] 3. 2025 年新架构探索中,Mamba 架构推理时可处理更长上下文但训练算力消耗大,部分方法降低计算复杂度[22] 4. 2025 年通过针对英伟达芯片底层优化和新型架构探索推动存算一体发展,预计两年内成主流[23] 5. 大模型无法实现无限上下文长度是因为注意力机制计算复杂度随长度增加呈指数级增长[21] 6. 从 2003 年至今,算力涨幅接近 500%,模型和应用涨幅为 150%,云业务盈利能力向上,下游应用企业增长快[27]
肖仰华教授:具身智能距离“涌现”还有多远?
36氪· 2025-06-27 19:30
人工智能技术发展路径 - 人工智能发展呈现两条清晰脉络:生成式人工智能(AIGC)和具身智能 前者聚焦机器认知能力 后者侧重感知与行动能力 [3][6][7] - 生成式大模型本质是让机器具备人类大脑的认知功能 包括语言生成和逻辑思考能力 具身智能则模拟人类身体感知与环境交互能力 [6][7] - 认知智能与具身智能的下一个里程碑是身心协同阶段 需实现身体与大脑的双向塑造 [3][8][9] 技术革命性特质 - 判断技术革命性的三大标准:基础性(如水电煤)、生产力指数级提升、对社会上层建筑的颠覆性影响 [9][10] - 生成式AI符合三大标准:成为新型基础设施 脑力工作效率提升百倍 渗透社会各领域 [10] - 具身智能对生产力的提升作用有限 80亿机器人产能仅相当于人口增长1-2倍 且受安全伦理制约 [11][12][13] 模型发展规律 - Scaling law主导生成式AI初期发展 依赖海量数据(万亿token)和大规模算力 [14] - 后训练范式崛起(如DeepSeek R1) 数据质量与训练策略取代规模成为关键 参数规模让位于算法设计 [15][16] - 行业大模型落地瓶颈在于数据 央国企需投入80%精力治理行业数据 高质量数据集建设成产业护城河 [18][19] 具身智能发展挑战 - 数据缺口显著:最大具身数据集仅百亿token 较语言模型差2个数量级 仿真/合成数据质量不足 [21][22] - 泛化能力受限:环境表达复杂性(如办公室场景需建模高维身体状态)导致数据采集困难 [31][32] - 突破路径包括增加训练量(虚拟试错) 借鉴人类类比/归纳机制 但需敬畏"不可言说"的交互复杂性 [33][34] 产业实现范式 - 三大技术路线并存:连接主义(神经网络)、符号主义(知识图谱)、行为主义(强化学习) 分别对应数据学习、知识学习和实践学习 [36][37][38] - 机器人应走场景化路径而非绝对通用 功能受限于物理构造 机械臂案例显示需任务与身体适配 [42][43] - 集约化需适度 扫地机器人通过附加刷头扩展功能 但强行植入多能力违背产业逻辑 [42][43] 技术风险与治理 - 物理伤害风险远低于认知风险 需警惕AI通过决策误导造成的系统性危害 [45][46] - 安全治理核心是发展AI监管师职业 建立"拔插头"机制 同时加强价值观对齐研究 [48][49] - 身体限制可成为安全保障 思想无边界才是最大风险源 [46][47] 行业影响与教育变革 - AI将冲击产业分工基础 未来工作意义转向体验而非谋生 物质极大丰富改变经济逻辑 [62] - 教育需破除内卷 在保留核心技能(写作/编程)基础上 培养AI难以替代的鉴赏/批判能力 [55][61] - 学科交叉与内心探索是重建价值体系方向 需拓展认知边界应对文明转型 [56][57]
中信证券:系统级算力有望成为AI发展的下一站 建议关注国内产业链相关公司
智通财经网· 2025-06-26 08:29
系统级算力发展趋势 - AI大模型训练和推理需求持续旺盛,scaling law在后训练和在线推理方向持续演进 [1] - 底层基础设施向更大集群发展,单芯片算力提升受先进制程影响迭代速度可能放缓,系统级节点通过解决互连、网络、内存墙等问题成为重要方向 [1] - 系统级算力有望成为AI发展的下一站,国产GPU芯片公司可能通过高资源密度算力基础设施实现对海外产品的追赶和超越 [1] 系统级算力的技术需求 - 芯片层面涉及AI加速芯片、CPU芯片、Switch互连芯片、DPU数据处理芯片,国产AI加速芯片在峰值算力和软件生态上仍落后于海外旗舰产品 [2] - 互连层面NVLink5.0提供1.8TB/s双向带宽,远超传统PCIe方案十倍,国产芯片需自研技术方案助力系统集群发展 [2] - 网络层面采用RDMA技术实现远程内存访问,主流技术包括InfiniBand、RoCE等 [2] - 整机层面系统级算力需通过系统设计、规划、测试完成,与传统AI服务器相比更需垂直融合能力 [2] 系统级算力的技术示范 - 单芯片算力发展快于通信领域,通信效率成为集群效率提升关键因素 [3] - 构建大集群的两种方式:Scale up(纵向扩展)和Scale out(横向扩展),Scale up因更大带宽、更低时延和更大缓存一致性内存空间成为重要方向 [3] - 英伟达NVL72系统和华为CloudMatrix384超节点为行业发展提供示范 [3] 半导体行业的整合趋势 - 半导体行业通过收并购进行技术整合与市场拓展,头部企业通过并购获取市场机会并扩展技术能力 [4] - 英伟达收购Mellanox扩展NVLink至IB等RDMA网络,为下一代大规模计算集群做技术储备 [4] - AMD收购ZT Systems获取系统架构设计能力和数据中心解决方案交付经验,构建AI解决方案核心 [4] 未来基础设施的关键因素 - 底层通用性与技术前瞻性对未来基础设施搭建至关重要,应用发展将随之带来回报 [5]
世界怎么就「东升西落」了?聊聊二级市场与 DeepSeek+Manus 的热潮 | 42章经
42章经· 2025-03-30 22:25
东升西落叙事 - 美国市场从24年开始因AI领先和美元强势吸引全球投资,但Trump上台后政策调整引发宏观不确定性,导致股市剧烈震荡[2][3] - 中国市场24年股价开始回升,今年因DeepSeek发布彻底引爆,反映此前对科技行业预期过低的价值回归[5][6] - 中美AI发展路径差异显著:美国专注scaling law和AGI,中国聚焦应用落地和成本优化[8][9] 中美AI发展差异 - 美国AI发展路径依赖高成本投入(算力/数据),但模型能力提升不及预期[9] - DeepSeek通过工程优化大幅降低成本,实现更好性能输出,打破高成本叙事[9] - 中国AI应用注重覆盖更广泛用户群体,如Manus团队专注让未接触AI人群使用产品[10][11] 标志性产品分析 - DeepSeek开源模型使腾讯等公司跳过模型军备竞赛阶段,直接进入应用开发[26] - Manus采用脉冲式增长策略,通过Prosumer群体快速传播,但被误读为OpenAI对标对象[12][15] - Cursor等产品以极低市场成本实现高ARR收入,展示中国AI商业化路径优势[12] 二级市场表现 - 美国市场因前期AGI预期过高,当前面临预期调整;中国市场预期正从0开始填平[19][20] - 阿里云宣布增加AI Capex后股价上涨,反映市场对国内AI预期转向乐观[23] - 国内互联网公司从价值股重新获得成长股属性,AI推动估值逻辑变化[24] 产业趋势分析 - 推理芯片领域国内呈现"百卡齐放"局面,寒武纪等公司股价表现亮眼[28] - 专精特新企业通过技术突破和出海确立行业领先地位,如宁德时代[34] - AI推动产业趋势明确,但对中国资产重要性仍低于美国,需关注消费等宏观指标[35] 市场波动特征 - 板块轮动速度加快,信息传播和处理效率提升导致市场共识形成更快[37] - 高波动环境下企业经营策略可能转向蹭热点和讲故事[38] - 从业者对产业判断更精准,如云厂商CXO提前布局光模块投资[44] 投资机会展望 - 模型产业链价值、原生应用发展和垂直行业应用构成三大关注方向[43] - 生物医药、航空航天等非AI领域同样存在结构性机会[43] - 二级市场投资技巧可学习,但全职炒股可能导致认知密度下降[46]
聊一下物理Ai和机器人
雪球· 2025-03-09 12:55
AGI三大要素与机器人定位 - 机器人现阶段代表AGI三大要素中的"数据",可视为物理AI形式的资本开支(Capex),与代表算力的NV和代表算法的DS/OpenAI形成互补 [2] - 预训练大模型面临互联网数据耗尽问题,机器人可采集人类行为中未数字化的"遗失数据"(如家务动作),其数据量级可达现有互联网数据的10-100倍 [3] - 马斯克部署10万台工厂机器人的核心目的是数据采集,通过物理AI的scaling law补齐AGI数据短板,Figure公司"用机器人造机器人"本质是合成数据生产 [3] 机器人产业价值重估 - 机器人被重新定义为AIDC核心部件,与光模块/GPU/铜缆同属AI大模型资本开支范畴,10万台擎天柱机器人(单价100万)对应1000亿资本开支,预期2027-2028年全球100万台落地将带来5000亿-1万亿资本开支 [4] - 产业逻辑分两阶段:前五年定位为AGI资本开支(类比GPU地位),后五年可能转化为服务C端的爆款产品,形成独特产业价值 [4] - 当前市场存在认知偏差,国内宣传侧重服务功能导致低估其数据采集价值,实际产业地位可比肩算力基础设施 [4] 当前市场异常现象 - 特斯拉股价腰斩但国内供应链公司创新高,与Apple/NV供应链历史规律背离,显示机构抱团特征 [5] - 行业质疑声集中于DS/Manus等企业,但机器人板块呈现罕见一致性看好,反映筹码高度集中 [5] - 25年专用大模型预期未被充分讨论,对比DS同类话题热度差异显著,表明当前定价权掌握在少数机构手中 [5] 其他产业动态 - 一体机产品存在未明确的技术或商业问题 [6] - 产业界优先选择NVIDIA解决方案,GC(推测为Google Cloud或竞品)采用意愿较低 [6] - AI落地存在强预期与弱现实的矛盾,实际应用场景面临挑战 [7] - H厂商封闭系统策略与行业"平权"趋势冲突,新兴GPU公司(如摩尔/mx)更受市场青睐 [7] - 互联网大厂在机器人领域布局存在差异,ZJ/TX展现后发优势潜力 [8] 全球资本流动影响 - 近期A股科技板块与港股高度联动,资金流动源于全球资本从美股向新兴市场转移,国会山股神佩洛西清仓美股被视为重要信号 [8] - A股需培育本土增量资金以避免过度依赖外资流动,恒生科技资金动向将持续影响科技板块走势 [8]
上半年 AI 市场有多差?为什么机构出手这么少? | 42章经
42章经· 2024-07-21 21:50
AI市场融资现状 - 2024年1-5月获得主流机构投资的AI公司不超过30家 其中相当部分为追加轮次 融资难度较十年前提高百倍[1] - 一级市场新资金流入不足 投资人因历史踩坑经验转向过度保守 市场环境不健康[2] 机构投资困境 - 评价体系与AI发展阶段不匹配 存在三大核心质疑:技术可行性/商业化潜力/行业演进方向[2] - 投资策略在早期投人与后期投PMF间摇摆 缺乏统一方法论[2] 技术发展节奏 - 行业存在非理性急躁情绪 从十年缩短至季度级赛道切换 违背技术发展客观规律[3] - AI进展已超预期 Sora/4o/3D等多模态demo验证技术想象空间 但模型能力仍需1-2年成熟期[7] 应用层创新趋势 - 全球华人创业者中PMF达标企业不足30家 呈现三大方向:工具型产品/Prosumer服务/非结构化数据处理[4][5] - 短期爆款多为黏土滤镜等增长型产品 刚需型应用仍待探索[6] 创业策略建议 - 应用层先发优势取决于数据质量与认知积累 大模型领域无先发优势[8] - 核心要务是跑通PMF 即使小规模用户验证ROI也具价值[9] - 创业者需兼具技术理解/需求洞察/组织能力 移动互联网经验非必要条件[10] 行业认知演进 - 市场悲观情绪反映认知深化 从业者已明确技术边界与最佳实践[11] - 产品创新需突破"下一代XX"思维定式 探索原生AI交互形态[12] 全球化与分工 - 创业者普遍转向全球市场 欧美付费能力助力ROI验证 地缘政治加速此趋势[13] - 模型层将呈现端到端分离 头部公司垄断基础层 中间层出现垂直领域模型与infra服务[14] 入口变革与巨头布局 - AI coding可能重塑交互入口 聊天界面将取代传统APP形态[15][16] - 大厂模型战略分两类:字节等进攻型玩家争夺入口 美团等防守型玩家防止掉队[17] 投资标的分析 - 苹果因硬件入口价值最具潜力 腾讯社交数据资产构筑护城河[18] - 英伟达面临AI ROI计算带来的军备竞赛放缓风险[18] - 中美模型差距持续扩大 全球范围内头部公司马太效应加剧[18]