存算分离

搜索文档
一文看懂“存算一体”
虎嗅· 2025-08-15 14:52
文章核心观点 - 存算一体(Compute In Memory,CIM)通过将存储和计算融合,旨在解决传统冯·诺依曼架构的"存储墙"和"功耗墙"问题,提升计算效率和能效比 [1][12][21] - 该技术尤其适合AI等高算力需求场景,市场规模预计从2023年到2029年以154.7%的年复合增长率增长,达到306.3亿美元 [30][46][79] 技术背景与问题 - 传统冯·诺依曼架构采用存算分离模式,存储与计算独立导致数据传输瓶颈 [2][10] - AI时代数据量爆炸式增长,暴露"存储墙"(数据传输速度远低于计算速度)和"功耗墙"(数据传输能耗占比高达63.7%)问题 [11][12][17] - HBM技术通过3D封装缩短存算距离,但未根本解决分离问题 [18][20] 技术原理与优势 - 存算一体模仿人脑结构,在存储单元内直接计算,减少数据搬运次数,提升效率并降低功耗 [21][22][48] - 适用于AI矩阵乘法和乘累加运算,能效比显著提升(如PRIME方案功耗降低20倍、速度提升50倍) [28][47][48] 技术分类 - 近存计算(PNM):通过封装集成存算单元(如HBM),但仍属存算分离,适用于AI、边缘计算等场景 [36][37][39] - 存内处理(PIM):在存储晶粒中集成算力(如HBM-PIM),适用于语音识别、基因匹配等 [40][42] - 存内计算(CIM):彻底融合存算单元,消除界限,是狭义存算一体,主要服务AI计算 [43][44][46] 存储介质与实现方式 - 易失性存储器(SRAM、DRAM)和非易失性存储器(Flash、RRAM、MRAM等)均可用于存内计算 [51][53][54] - SRAM适合大算力场景(高能效比),DRAM成本低但延迟大,Flash适合小算力场景 [54] - 新型存储器如RRAM(忆阻器)研究热度高,但面临工艺良率和可靠性挑战 [55][57][58] - 模拟存内计算能效高但误差大,适用于低精度场景(如可穿戴设备);数字存内计算精度高但功耗大,适用于云端AI [60][61] 应用场景 - AI相关领域:自然语言处理、图神经网络、智能决策等,对算力效率和能耗要求高 [62][65] - AIoT智能物联网:碎片化市场注重成本、功耗和开发难度,存算一体具备优势 [63][64] - 云端AI计算:替代GPU部分场景,存算一体ASIC芯片在能效和固定任务处理上潜力巨大 [65][66][67] - 延伸应用:感存算一体、类脑计算等新兴领域 [68] 发展历程与现状 - 概念最早于1969年提出,但受限于技术未落地 [23][24] - 2010年后关键技术突破(如忆阻器实现布尔逻辑),2016年PRIME方案验证能效提升 [26][27][28] - 2017年多家巨头推出原型系统,引发学术界和产业界热潮 [29] - 2023年清华大学研发出全球首颗全系统集成忆阻器存算一体芯片 [32] - 当前进入高速发展期,传统芯片巨头和创业企业(如苹芯科技、Mythic等)积极布局 [30][31][33] 市场规模与增长 - 预计2029年全球存算一体技术市场规模达到306.3亿美元,年复合增长率154.7% [79] - 技术正从理论研究走向产业落地,未来几年将涌现更多创新和企业 [33][80]
每日市场观察-20250804
财达证券· 2025-08-04 11:12
市场表现 - 8月1日沪深两市成交额1.60万亿元,较上个交易日缩量3377亿元[2] - 上证主力资金净流出23.81亿元,深证主力资金净流入26.75亿元[4] - 主力资金流入前三板块为光伏设备、中药、物流,流出前三为半导体、元件、地面兵装[4] 政策动态 - 国家发改委已下达8000亿元"两重"建设项目清单和7350亿元中央预算内投资[5] - 第三批690亿元支持消费品以旧换新的超长期特别国债资金已下达,第四批690亿元将于10月下达[5] - 上海计划到2025年底新建大型以上算力中心不少于5个,智算规模达100 EFLOPS以上[11] 行业动态 - 香港《稳定币条例草案》8月1日生效,要求稳定币发行人必须申领牌照并符合储备资产管理规定[9][10] - 工信部印发《2025年度多晶硅行业专项节能监察任务清单》,要求9月30日前报送监察结果[8] 资金动向 - 第二批12只浮费基金中3只定档8月4日发行,建信医疗创新募集上限30亿元[12] - 保险系私募证券投资基金增至6只,由3家保险系私募基金公司管理[13]
上海:至2025年底新建成大型以上算力中心不少于5个 全市算力中心智算规模争取达到100 EFLOPS(FP16)以上
每日经济新闻· 2025-08-01 11:01
算力基础设施布局 - 上海市将持续优化算力中心布局 加快已获得能耗指标的算力中心建设 [1] - 至2025年底 新建成的大型以上算力中心不少于5个 [1] - 全市算力中心智算规模目标达到100EFLOPS(FP16)以上 [1] 边缘计算节点建设 - 在产业园区 科研院所 高校等完成边缘智算节点建设案例不少于5个 [1] 电力协同规划 - 拟建算力中心应加强与本市电力规划布局协同 [1] - 算力中心规划设计方案应具备可落地的外市电接入方案 [1] - 算力中心建设应与外市电接入工程同步规划 同步开工 同步验收 [1] 存储技术升级 - 至2025年底 算力中心内先进存储容量占比达到30%以上 [1] - 探索存储和算力资源城域百公里级部署的"存算分离"模式 [1] - 推进存储资源与智能计算多云容器平台的相互兼容与高效对接 [1]
存算分离+AI驱动,金融业数据库升维
21世纪经济报道· 2025-06-26 20:02
金融行业数据库架构革新 - 金融行业数字化转型中,数据库架构革新成为决定业务效能的关键因素,传统存算一体架构存在资源利用率低下、故障恢复缓慢、运维复杂度高等问题 [1] - 中国银保监会发布指导意见明确要求推进传统架构向分布式架构转型,存算分离凭借资源解耦、弹性扩展和高可用性成为金融行业首选方案 [1] - 数据库厂商纷纷转向存算分离,金融客户已在实践中验证其有效性,存算分离从理论走向落地应用 [1] 存算一体架构的局限性 - 存算一体架构资源利用率极低,分布式切片模式下CPU和磁盘利用率可能不到5% [2] - 本地硬盘年故障率达1%,故障恢复需进行数据库切换和数据重建,影响业务连续性 [2] - 运维复杂度高,集群规模扩大后磁盘亚健康状态频发,运维团队需频繁介入处理 [2] 存算分离架构的优势 - 存算分离实现计算和存储资源解耦,资源扩展更灵活,系统稳定性更高 [3] - 共享存储可有效隔离硬盘故障对数据库的影响,计算节点改为虚拟机后故障恢复时间从半小时缩短至快速拉起 [3] - 虚拟化技术显著降低服务器成本,尤其帮助中小金融机构解决成本压力问题 [3][4] AI与数据库的融合趋势 - AI赋能数据库(AI for Database)通过人工智能提升数据库效率,智能运维成为关键词 [5] - 大型模型进入Agent阶段,具备强大推理能力,可完成海量日志更新分析等复杂任务 [5][6] - 数据库赋能AI(Database for AI)需适应AI时代数据消费模式,从SQL向自然语言交互转变 [6] 未来数据库发展方向 - 未来数据库应具备自我学习和动态调整能力,根据系统环境自动配置最优参数并持续优化性能 [6] - 需支持图谱等新模式以适应机器与机器之间的频繁数据交互 [6] - 数据库将不再是单纯的数据容器,而是智能生态的核心枢纽 [7]
双轮驱动,共谱数字金融新篇章|2025中国国际金融展·华为媒体沟通会成功举办
财富在线· 2025-06-24 11:10
存算分离架构优势 - 存算分离架构相比存算一体架构具有资源扩展灵活、分层架构提升可用性、节省运维成本三大优势[4] - 存算一体架构在金融行业初期改造中虽快速落地,但随着规模扩大,其资源利用率低、运维复杂、故障频发等问题凸显[4] - 存算分离架构通过共享存储隔离硬件故障,结合虚拟化技术,将物理服务器切换时间从1小时缩短至分钟级,显著提升业务连续性[8] 金融行业需求分化 - 金融客户共性需求包括高可用性、数据安全及全栈协同能力[10] - 大型金融机构关注存量业务迁移的稳定性,中小机构更倾向快速部署的轻量化方案[10] - 公司推出多形态数据库解决方案,包括虚拟化平台与物理机方案,以适配不同规模金融机构需求[10] AI与数据库融合方向 - AI for Database方向通过智能运维实现故障自愈、参数自动优化,可替代高危人工操作提升运维效率[12] - Database for AI方向需支持自然语言交互、知识图谱等新范式,以适配AI时代的数据消费模式[12] - 未来需探索"中国标准",构建兼具高可用与前瞻性的架构,如异地RPO为零的多活方案[12] 技术发展趋势 - 金融数据库技术正从存算一体走向存算分离,提升系统利用率、可用性和易运维性[12] - 未来将探索存算分离架构与AI融合,平衡性能、成本与数据安全性[12] - 金融数字化转型需兼顾技术创新与业务实际,实现"双轮驱动"的可持续发展[12]
理想汽车海量数据分析实践
理想TOP2· 2025-04-24 21:22
海量数据分析的挑战 - 汽车制造业数据分析主要围绕车辆数据,包括车机埋点数据、车辆信号数据和视频图像数据,每天数据量达万亿级别[8][10][11][16] - 海量数据分析面临稳定性、性能和效率三大问题:缺乏规范导致问题发现难、SQL拦截难、业务隔离难;Hive查询时快时慢、Spark+StarRocks技术栈查询慢;资源使用周期明显导致利用率低[12][14][15][21] - 目标基于StarRocks构建稳定、高效、易用的查询分析服务,通过规范使用、多级隔离、限流降级提升稳定性,优化查询性能和资源利用率提高效率,统一查询服务降低使用门槛[17][19][22] 发展历程与现状 - StarRocks引擎迭代经历三阶段:从多种引擎共存到统一为StarRocks解决资源成本高问题;第二阶段重点解决稳定性问题并提升产品化能力;第三阶段探索云原生和存算分离架构[23][25] - 当前集群规模达10+集群、1w+ CPU cores,每天处理超过1000w query和100亿级别写入[26] 存算一体实践 - 稳定性保障体系包括事前风险识别、事中快速止损和事后持续治理,通过规范SOP、多级隔离、限流降级等措施[29][31][32][33][34][35][38] - 性能优化通过自研DQS服务替代原有技术栈实现10倍提升,并针对慢SQL五类场景制定优化方案[42][45][46][47][49] - 存算一体架构存在扩容成本高、弹性伸缩能力弱问题,车辆自助分析平台场景为扩存储需扩容20台机器造成资源浪费[50][52][55] 存算分离实践 - 采用Multi-Warehouse实现三级隔离:内外表集群隔离、业务隔离和读写隔离(探索中)[56][58][61][64][68] - 存算分离架构结合资源削峰措施使机器资源节省30%,冷数据存储于百度云对象存储BOS[65][71] - StarRocks on K8s实现弹性伸缩,与Spark资源互补部署使利用率提升50%[72][75] 未来规划 - 实现单一集群共享元数据并按场景隔离FE实例,按场景切分warehouse实现多维度隔离[78][79] - 推进资源弹性和按量付费,将ad-hoc等场景部署于K8s实现弹性伸缩,内表场景设置弹性warehouse[79]