Workflow
应用商店
icon
搜索文档
【今跃教育】vivo 海量数据场景下的消息系统架构演进
搜狐财经· 2025-10-11 05:42
业务规模与技术挑战 - vivo移动互联网业务为全球超过4亿用户提供服务,其消息中间件平台日均处理数据量达十万亿级别[1] - 随着业务流量数十倍增长,原有Kafka架构在多集群管理、弹性扩缩容和海量分区场景下面临性能瓶颈[3] - Kafka架构下Topic和分区数量持续增加导致磁盘随机读写加剧,严重影响集群性能,且资源组隔离与集群拆分的运维成本显著上升[3] - 滴滴大数据原有的DKafka系统面临磁盘IO瓶颈问题,当Broker承载成百上千个Topic分区时,磁盘写入由顺序变为随机,性能急剧下降[8] 技术选型与架构优势 - 公司选择引入Apache Pulsar作为新一代消息中间件,其存算分离架构带来显著优势:无状态Broker支持快速扩缩容,存储层基于BookKeeper实现数据均匀分布和高可用保障[4] - Pulsar独有的Bundle机制能够以有限的逻辑单元管理海量Topic,有效避免元数据膨胀问题,并支持多种消费模式,消费能力扩展不再完全依赖分区数量[4] - Pulsar的存算分离架构通过BookKeeper实现顺序刷盘,彻底解决了随机写入导致的IO瓶颈问题,其多级缓存机制有效实现了IO隔离[9] - Bundle机制将海量分区映射到有限哈希环上,大幅降低了元数据管理和Rebalance压力,节点对等和无状态设计使得扩缩容变得简单高效[9] 实践优化与性能提升 - 在落地实践中,vivo重点优化了Pulsar的Bundle管理机制,通过合理设置Bundle数量范围和拆分策略,确保流量在Broker间的均衡分布[5] - vivo优化了Ledger翻转参数防止数据存储不均衡,建立了统一的数据保留策略,并构建了基于Prometheus + Kafka + Druid的多维监控指标体系[5] - 通过调整负载均衡参数将节点流量偏差控制在20%以内,优化客户端发送参数配置,实施“能者多劳”的发送策略,显著提升发送性能[6] - 滴滴大数据团队在硬件选型上采用SATA HDD盘 + NVME的异构机型,利用Pulsar的Ensemble机制使所有数据盘的存储容量利用率差异控制在10%以内,彻底解决存储热点问题[10] 应用成效与系统替代 - 优化后的Pulsar集群在vivo环境中稳定支撑千亿级消息流量,有效应对各类异常场景,为业务提供高可靠、低延迟的消息服务[6] - 滴滴大数据平台于2021年8月正式上线首个Pulsar集群,经过两年多稳定运行,成功替代原有DKafka系统,支撑数据开发平台和同步中心的数据通道同步任务[7] - Pulsar成功支撑了滴滴Log->ES、BamaiLog->ES、BamaiLog->CK和Log->HDFS等重要数据同步链路,在性能、成本和可靠性方面都带来显著提升[12] - Pulsar在扩缩容方面展现显著优势,计算层Broker扩容后可通过bundle漂移立即分担负载,存储层Bookie扩容后无需数据迁移,新数据自动选择低负载节点写入[10]
欧盟问询苹果、谷歌、微软等企业,重点关注网络金融欺诈防范
环球网· 2025-09-24 13:07
调查背景与范围 - 欧盟委员会计划对苹果、谷歌、微软和Bookingcom等大型科技公司展开问询[1] - 问询关注点在于这些公司在防范网络金融欺诈方面采取的措施[1] - 金融诈骗已成为欧盟委员会的新工作重点[2] 调查具体内容 - 调查苹果和谷歌如何处理其应用商店中的虚假应用,例如虚假银行应用[2] - 谷歌和微软将被问及谷歌搜索和必应中的虚假搜索结果[2] - Bookingcom将被问及虚假房源列表问题[2] 潜在后果 - 欧盟委员会目前仅是要求提供信息,但后续可能会展开正式调查[2] - 根据《数字服务法》,若违规可能对公司处以最高相当于其全球年营业额6%的罚款[2]
美股三大期指齐涨,中概股普涨;瑞银:看空美国经济、美元和美股;微软抢AI人才,瞄准Meta【美股盘前】
每日经济新闻· 2025-08-13 18:52
股指期货表现 - 道指期货上涨0.20% [1] - 标普500指数期货上涨0.52% [1] - 纳指期货上涨1.12% [1] 中概股盘前行情 - 阿里巴巴上涨2.91% [2] - 拼多多上涨2.21% [2] - 网易上涨4.6% [2] - 京东上涨1.28% [2] - 携程上涨3.67% [2] - 百度上涨1.91% [2] - 理想汽车上涨3.63% [2] 人工智能行业动态 - 微软针对Meta AI工程师实施竞争性招聘流程 提供数百万美元签约奖金 [3] - CoreWeave二季度经调整净亏损扩大至1.308亿美元 去年同期为500万美元 分析师预期为9630万美元 [4] 上市公司评级调整 - 摩根士丹利将礼来目标价从1135美元下调至1028美元 维持增持评级 [5] - 摩根大通将Webtoon娱乐公司目标价从9美元上调至14美元 [6] 企业合作与业绩 - Webtoon娱乐公司二季度业绩超预期 与迪士尼达成合作 盘前上涨超40% [6] - Bullish通过IPO筹集11亿美元 以每股37美元价格售出3000万股股票 [8] 科技行业监管动态 - 苹果回应马斯克垄断指控 强调应用商店遵循客观标准且不存在偏袒行为 [7] 宏观经济观点 - 瑞银预测美国四季度GDP增速将从二季度2.0%放缓至0.9% [4] - 瑞银维持美元长期熊市观点 警告美股估值过高及科技股集中度风险 [4]
苹果据称有望获得欧盟反垄断机构对其应用商店收费和规则的批准,以免遭受按日罚款
快讯· 2025-07-22 23:45
欧盟反垄断审查 - 苹果应用商店收费规则有望获得欧盟反垄断机构批准 [1] - 该批准将帮助公司避免潜在的按日罚款风险 [1]
消息人士称,苹果(AAPL.O)有望获得欧盟反垄断机构对其应用商店收费和规则的批准,这将帮助苹果避免遭受按日罚款。预计决定将在未来几周内做出。
快讯· 2025-07-22 23:40
欧盟反垄断审查 - 苹果应用商店收费和规则有望获得欧盟反垄断机构批准 [1] - 批准决定预计在未来几周内做出 [1] - 该决定将帮助公司避免遭受按日罚款 [1]
据华尔街日报:苹果(AAPL.O)为遵守反垄断命令,改变了在欧洲联盟的应用商店规则。
快讯· 2025-06-27 03:04
苹果应用商店规则变更 - 公司为遵守欧盟反垄断命令 对欧洲联盟地区的应用商店规则进行调整 [1]
消息称苹果准备调整应用商店以避免更多欧盟罚款
快讯· 2025-06-25 22:58
苹果应用商店调整 - 公司准备对应用商店进行进一步调整以安抚欧盟反垄断监管机构 [1] - 调整内容包括让第三方开发商更容易引导用户离开苹果生态系统购买软件 [1] - 公司将在6月26日前提出建议以避免欧盟处罚 [1] 欧盟监管动态 - 欧盟委员会要求公司在6月26日最后期限前提交建议否则将准备正式指控书 [1] - 今年4月公司和Meta均被判定违反欧盟《数字市场法》(DMA) [1] - 公司曾对4月的处罚做出激烈回应指责监管机构歧视并迫使其放弃自身技术 [1] 行业影响 - 此次调整可能改变苹果生态系统的封闭性为第三方开发商创造更多机会 [1] - 监管压力持续增加可能影响科技行业在欧盟的商业模式 [1]
6月25日电,据报道,苹果准备对应用商店进行调整,以避免遭受更多欧盟罚款。
快讯· 2025-06-25 22:40
苹果应用商店调整 - 公司准备对应用商店进行调整以避免遭受更多欧盟罚款 [1]
6月23日电,苹果预计将在应用商店谈判中向欧盟做出让步。
快讯· 2025-06-23 19:34
文章核心观点 - 苹果公司预计将对其应用商店政策进行调整 向欧盟监管机构做出让步 [1] 应用商店政策 - 公司可能改变其在欧盟地区的应用商店运营规则 [1]