存算分离

搜索文档
存算分离+AI驱动,金融业数据库升维
21世纪经济报道· 2025-06-26 20:02
金融行业数据库架构革新 - 金融行业数字化转型中,数据库架构革新成为决定业务效能的关键因素,传统存算一体架构存在资源利用率低下、故障恢复缓慢、运维复杂度高等问题 [1] - 中国银保监会发布指导意见明确要求推进传统架构向分布式架构转型,存算分离凭借资源解耦、弹性扩展和高可用性成为金融行业首选方案 [1] - 数据库厂商纷纷转向存算分离,金融客户已在实践中验证其有效性,存算分离从理论走向落地应用 [1] 存算一体架构的局限性 - 存算一体架构资源利用率极低,分布式切片模式下CPU和磁盘利用率可能不到5% [2] - 本地硬盘年故障率达1%,故障恢复需进行数据库切换和数据重建,影响业务连续性 [2] - 运维复杂度高,集群规模扩大后磁盘亚健康状态频发,运维团队需频繁介入处理 [2] 存算分离架构的优势 - 存算分离实现计算和存储资源解耦,资源扩展更灵活,系统稳定性更高 [3] - 共享存储可有效隔离硬盘故障对数据库的影响,计算节点改为虚拟机后故障恢复时间从半小时缩短至快速拉起 [3] - 虚拟化技术显著降低服务器成本,尤其帮助中小金融机构解决成本压力问题 [3][4] AI与数据库的融合趋势 - AI赋能数据库(AI for Database)通过人工智能提升数据库效率,智能运维成为关键词 [5] - 大型模型进入Agent阶段,具备强大推理能力,可完成海量日志更新分析等复杂任务 [5][6] - 数据库赋能AI(Database for AI)需适应AI时代数据消费模式,从SQL向自然语言交互转变 [6] 未来数据库发展方向 - 未来数据库应具备自我学习和动态调整能力,根据系统环境自动配置最优参数并持续优化性能 [6] - 需支持图谱等新模式以适应机器与机器之间的频繁数据交互 [6] - 数据库将不再是单纯的数据容器,而是智能生态的核心枢纽 [7]
双轮驱动,共谱数字金融新篇章|2025中国国际金融展·华为媒体沟通会成功举办
财富在线· 2025-06-24 11:10
存算分离架构优势 - 存算分离架构相比存算一体架构具有资源扩展灵活、分层架构提升可用性、节省运维成本三大优势[4] - 存算一体架构在金融行业初期改造中虽快速落地,但随着规模扩大,其资源利用率低、运维复杂、故障频发等问题凸显[4] - 存算分离架构通过共享存储隔离硬件故障,结合虚拟化技术,将物理服务器切换时间从1小时缩短至分钟级,显著提升业务连续性[8] 金融行业需求分化 - 金融客户共性需求包括高可用性、数据安全及全栈协同能力[10] - 大型金融机构关注存量业务迁移的稳定性,中小机构更倾向快速部署的轻量化方案[10] - 公司推出多形态数据库解决方案,包括虚拟化平台与物理机方案,以适配不同规模金融机构需求[10] AI与数据库融合方向 - AI for Database方向通过智能运维实现故障自愈、参数自动优化,可替代高危人工操作提升运维效率[12] - Database for AI方向需支持自然语言交互、知识图谱等新范式,以适配AI时代的数据消费模式[12] - 未来需探索"中国标准",构建兼具高可用与前瞻性的架构,如异地RPO为零的多活方案[12] 技术发展趋势 - 金融数据库技术正从存算一体走向存算分离,提升系统利用率、可用性和易运维性[12] - 未来将探索存算分离架构与AI融合,平衡性能、成本与数据安全性[12] - 金融数字化转型需兼顾技术创新与业务实际,实现"双轮驱动"的可持续发展[12]
直击金融核心!YashanDB国际金融展显实力
财富在线· 2025-06-20 10:27
核心观点 - 深圳计算科学研究院崖山数据库YashanDB在2025中国国际金融展上展示了其在金融关键业务系统中的规模化替代能力,包括银行、证券、保险等领域的全栈替代成果 [1][3] - YashanDB通过"三不变、两对等、一更优"的替代路径,在多家金融机构的核心系统中实现了对Oracle的高效替代,性能提升显著且成本大幅降低 [3] - 共享集群架构和存算分离技术是YashanDB实现金融核心系统规模化替代的关键支撑,其性能、高可用性和兼容性已达到国际标杆水平 [4][6] - YashanDB的参展案例验证了国产数据库在高端场景的替代实力,标志着国产化升级从边缘试点迈向核心系统规模化攻坚 [3][8] 1:1替代方案驱动金融核心规模化替换 - 在某城商行A类系统替换中,YashanDB实现对Oracle RAC的对等替换,业务模块响应时间与原系统持平,实现关键业务零感知切换 [3] - 在某城商行CRM系统替换中,仅用3周完成对Oracle数据库的平滑替换,支持4000+ SQL对象和9.3万行存储过程,兼容性达99% [3] - 在某大型证券资产估值系统应用中,实现SQL语句100%兼容且应用代码零修改,达到RTO<10s,RPO=0的金融级高可用,将1000只产品估值时间从24分钟缩短至54秒,性能提升20倍,总体成本降低66% [3] - 目前YashanDB已在央行数研所、华润银行等头部金融机构的关键系统中应用 [3] 共享集群架构破局规模化替代关键挑战 - 传统基于开源二次开发的架构在稳定可靠、性能、单机容量和安全性方面存在不足,分布式技术路线在金融核心替代场景中面临复杂度、性能瓶颈和成本高等问题 [4] - YashanDB共享集群通过自研聚合内存技术、集群文件系统、集群管理服务等关键技术,达到与Oracle RAC相当的内核性能与高可用水平 [6] - 共享集群架构在应对金融关键系统高可用与成本挑战上具有独特优势,是实现规模化、高质量替代的关键支撑 [6] 存算分离架构优势 - 过去20多年的金融核心系统数据库(如Db2 Sysplex和Oracle RAC)硬件架构都具备存算分离特点,这种共享集群架构因其可靠性、扩展性与高集约度被广泛认可 [6] - YashanDB共享集群基于存算分离架构,融合存储厂商在高性能网络与高可靠共享存储等基础设施领域的优势,为金融机构提供性能、扩展性与可用性全面升级的解决方案 [6] 展会及行业影响 - 2025中国国际金融展吸引了近300家国内外机构参展,YashanDB的参展彰显了国产数据库的技术自信 [8][9] - YashanDB通过真实案例验证了其在高端场景的替代实力,已从技术突破走向规模化应用 [8] - 未来YashanDB将持续深耕金融核心领域,助力金融机构构建安全、高效、智能的数据底座,为金融强国战略注入新质生产力 [8]
理想汽车海量数据分析实践
理想TOP2· 2025-04-24 21:22
海量数据分析的挑战 - 汽车制造业数据分析主要围绕车辆数据,包括车机埋点数据、车辆信号数据和视频图像数据,每天数据量达万亿级别[8][10][11][16] - 海量数据分析面临稳定性、性能和效率三大问题:缺乏规范导致问题发现难、SQL拦截难、业务隔离难;Hive查询时快时慢、Spark+StarRocks技术栈查询慢;资源使用周期明显导致利用率低[12][14][15][21] - 目标基于StarRocks构建稳定、高效、易用的查询分析服务,通过规范使用、多级隔离、限流降级提升稳定性,优化查询性能和资源利用率提高效率,统一查询服务降低使用门槛[17][19][22] 发展历程与现状 - StarRocks引擎迭代经历三阶段:从多种引擎共存到统一为StarRocks解决资源成本高问题;第二阶段重点解决稳定性问题并提升产品化能力;第三阶段探索云原生和存算分离架构[23][25] - 当前集群规模达10+集群、1w+ CPU cores,每天处理超过1000w query和100亿级别写入[26] 存算一体实践 - 稳定性保障体系包括事前风险识别、事中快速止损和事后持续治理,通过规范SOP、多级隔离、限流降级等措施[29][31][32][33][34][35][38] - 性能优化通过自研DQS服务替代原有技术栈实现10倍提升,并针对慢SQL五类场景制定优化方案[42][45][46][47][49] - 存算一体架构存在扩容成本高、弹性伸缩能力弱问题,车辆自助分析平台场景为扩存储需扩容20台机器造成资源浪费[50][52][55] 存算分离实践 - 采用Multi-Warehouse实现三级隔离:内外表集群隔离、业务隔离和读写隔离(探索中)[56][58][61][64][68] - 存算分离架构结合资源削峰措施使机器资源节省30%,冷数据存储于百度云对象存储BOS[65][71] - StarRocks on K8s实现弹性伸缩,与Spark资源互补部署使利用率提升50%[72][75] 未来规划 - 实现单一集群共享元数据并按场景隔离FE实例,按场景切分warehouse实现多维度隔离[78][79] - 推进资源弹性和按量付费,将ad-hoc等场景部署于K8s实现弹性伸缩,内表场景设置弹性warehouse[79]