内存瓶颈
搜索文档
为什么端侧算力有更大的想象空间?|AGIX PM Notes
海外独角兽· 2025-11-03 20:03
AGIX指数与市场表现 - AGIX指数旨在衡量通用人工智能(AGI)新科技范式,定位类似互联网时代的纳斯达克100指数 [2] - 截至统计时,AGIX指数年初至今上涨38.71%,自2024年以来累计上涨91.06%,显著跑赢标普500指数(16.30% YTD)和纳斯达克100指数(23.05% YTD) [5] - 指数成分中,基础设施板块权重最高达40.72%,本周上涨1.88%;半导体与硬件板块权重25.57%,本周上涨1.16%;应用板块权重28.65%,本周下跌0.38% [6] AI产业发展瓶颈演变 - AI产业初期瓶颈集中在算力,导致英伟达等芯片公司巨大爆发,但当前瓶颈已转向数据中心物理空间和电力供应,微软因缺乏足够的数据中心空间和电力导致部分AI芯片闲置 [10] - 内存成为AI算力升级过程中的关键硬件短板,高带宽内存(HBM)容量和带宽限制模型训练与推理效率,出现“内存墙”现象 [11] - 行业下一瓶颈将转向端侧AI,涉及用户端侧算力、低延迟保障以及云端带宽连接,英伟达与诺基亚合作开发AI-RAN技术,旨在实现“每一个基站都是一个本地AI数据中心” [11][12] - 完全由服务器端进行计算不切实际,按4K流媒体每路25 Mbps带宽需求计算,全球海底光缆总带宽理论最大仅支持约4000万用户同时使用,远不能支撑ChatGPT等超级应用用户量级 [13] 模型效率与架构创新 - 模型侧向更小更节能方向发展,Thinking Machines团队通过on-policy distillation技术将小模型性能提升至接近320亿参数大模型水平,训练步数减少7-10倍,训练效率提升50-100倍 [14] - 生物智能具备“边缘计算”能力,类似技术上的边缘计算可在离传感器最近位置处理数据,减少延迟和能耗 [12] - AMD推进软件定义AI工厂战略,通过开源的ROCm软件栈在EPYC处理器、Instinct GPU和Pensando网卡上创建标准化计算层,其Helios机架级超级计算机单机架提供1.4 exaFLOPs的FP8算力 [22][23] 科技巨头动态与市场表现 - 苹果与微软市值双双突破4万亿美元,微软凭借与OpenAI新合作协议及Azure云服务增长重返4万亿美元市值,对OpenAI约27%持股估值达1350亿美元 [18][19] - 亚马逊计划裁减约3万个企业职位,反映公司在AI技术规模化应用背景下对组织架构进行战略性调整 [17] - 亚马逊为Anthropic打造的耗资110亿美元Project Rainier数据中心园区正式启用,已部署近50万颗AWS Trainium2芯片,预计年底超过100万颗,园区总容量将超过2.2吉瓦 [21] 行业应用与监管动态 - 教育科技初创公司Super Teacher通过AI技术推动小学辅导普及化,采用确定性系统确保答案准确性,月费仅15美元,目前已吸引约2万户家庭注册 [20] - 澳大利亚监管机构起诉微软在部署Microsoft 365 Copilot时未明确告知用户可选择不含Copilot的经典版本以维持原价,个人版和家庭版订阅价格分别上调45%和29% [18] - 英伟达GTC华盛顿大会聚焦AI基础设施实践,公司季度营收达47亿美元,年增长率保持在50%,验证企业客户对AI基础设施的强劲需求 [20]