Workflow
Snowflake
icon
搜索文档
一文读懂如何选择数据架构
36氪· 2025-09-19 10:51
数据工程架构核心观点 - 数据工程是管理和指导数据从收集到转换、存储和访问全过程的关键学科 在制定战略决策、优化运营和获得竞争优势方面至关重要[1] - 成功的数据架构基础必须从设计过程一开始就奠定 不仅关乎技术架构构建 还在于使其与组织目标和数据管理策略保持一致[2] - 数据管理策略如数据仓库、数据湖、数据湖仓和数据网格在数据类型、访问模型、性能要求、组织结构和治理策略方面提供不同解决方案[1] 需求分析 - 项目初期最重要的第一步是需求分析 如果需求定义不明确将导致资源和时间浪费[3] - 需求分析目的是了解业务需求、确定利益相关者期望、明确范围并选择正确的技术基础设施[7] - 在示例项目中 数据来自两个主要源系统(ERP和CRM)以CSV格式提供 需要在整个ETL过程中进行仔细规划和强大数据控制[4] - 数据必须集成到用户友好且易于理解的结构中 数据模型应简洁、合乎逻辑并支持分析 不需要跟踪历史数据[5] - 系统最终生成的数据模型需要提供清晰易懂的文档 确保技术团队和业务用户都能更轻松适应系统[5] 数据架构选项比较 - 数据仓库专注于结构化数据 适用于报告和商业智能 具有高性能报告、数据安全性和一致性优势 但仅适用于结构化数据且成本较高[11][12][15][16] - 数据湖可存储结构化、半结构化和非结构化数据 提供高度灵活性 适用于机器学习和高级分析 但可能导致复杂的数据管理和数据沼泽问题[11][21][23][24] - 数据湖仓结合数据湖灵活性和数据仓库结构化数据管理功能 能处理各种数据类型同时提供高效分析查询性能 但设置和管理复杂[11][27][30][32] - 数据网格采用分布式架构 每个部门创建自己的数据产品并与其他部门共享 适用于大型复杂组织 但缺乏集中数据管理可能影响数据一致性和完整性[11][37][39][40] 数据架构平台选择 - 数据仓库平台包括Google BigQuery、Amazon Redshift、Snowflake、Microsoft Azure Synapse Analytics、Teradata和IBM Db2 Warehouse[18][19][20] - 数据湖平台包括Amazon S3、Azure数据湖存储、Google Cloud Storage、Apache Hadoop HDFS和MinIO[26] - 数据湖仓平台包括Databricks + Delta Lake、Apache Iceberg、Apache Hudi、Azure Synapse Analytics、Snowflake和Google BigLake[34][35] - 数据网格平台包括AWS Lake Formation + Glue + S3、Databricks Unity Catalog、Starburst/Trino、Snowflake、Kafka/Event Streaming和DataHub/Amundsen/OpenMetadata[41][42] 数据仓库设计方法 - Inmon方法采用集中式数据仓库设计 所有数据存储在一个中心位置并经过规范化处理 提供数据高度准确性和一致性但开发过程缓慢[46][47][53] - Kimball方法采用用户友好且灵活的设计 数据组织成更小更具体的部分称为数据集市 使用星型模式和雪花模式 提供便捷访问和快速查询但可能产生数据冗余[47][51][54] - Data Vault方法提供灵活性和模块化 数据以原始形式存储然后通过添加业务规则进行处理 允许与各种数据源快速集成但可能带来管理困难[55][58] - Medallion架构将数据处理分为三层:青铜层(原始数据)、白银层(清理数据)和黄金层(符合业务规则的数据) 提供简洁性、可追溯性、灵活性和性能[56][57][60][61] 可视化数据仓库架构 - 数据仓库架构可视化关键元素包括数据源、ETL流程、数据仓库、层级结构和商业智能工具[67] - 数据源可以有多种格式如数据库、CSV文件、APIs和Web服务 在图中用方框表示并通过箭头连接[67][70] - ETL流程包括提取(数据收集)、转换(数据转换)和加载(数据加载)步骤 在图中用顺序箭头表示[67] - 如果采用Medallion架构 应在图中清晰标明不同层级(青铜、白银、黄金) 每层描述数据处理程度和预期用途[67] - 商业智能工具和报告平台用于向最终用户呈现数据 是分析和解释数据的最后一步[67]
NowVertical Group (OTCPK:NOWV.F) 2025 Conference Transcript
2025-09-17 00:02
**公司概况与业务模式** * NowVertical Group Inc 是一家全球数据和人工智能公司 专注于将客户数据和财务数据转化为切实的商业价值 通过利用超大规模技术(如Google Cloud Microsoft Azure Amazon Web Services)和特定数据平台(如Snowflake Qlik Anaplan)为企业提供AI解决方案[2][4][5] * 公司年化收入为3720万美元 年化EBITDA为720万美元 拥有100多家企业客户 包括Adobe Palo Alto Networks Sky Disney等知名企业 由500多名技术专家提供支持[6][5] * 收入构成中80%来自解决方案和服务(咨询、转型和产品服务、托管服务) 20%来自自有专有软件和软件转售 78%收入来自拉丁美洲市场 22%来自北美MEA市场[15][16][17] **市场机遇与行业趋势** * 公司所处的云和AI市场正在快速增长 企业每年在AI技术上的支出预计在1.25亿至1.75亿美元之间 未来五年复合年增长率(CAGR)预计为17%[7][8] * 然而 74%的大型企业尚未从数据和AI投资中获得有意义的投资回报率(ROI) 52%的企业高管期望在未来三到五年内看到回报 这主要是由于数据复杂性、技能短缺和快速发展的技术带来的挑战[8][9][10] * AI技术仍处于早期阶段 其长期前景被看好 预计将影响商业模式的各个方面 而不仅仅是特定的业务部分[9][31][32] **竞争格局与差异化优势** * 公司与顶级咨询公司(如Accenture Deloitte EY)和大型系统集成商(如Infosys Wipro Tata)竞争 但其差异化在于专注于客户和财务数据领域 并提供深度的解决方案 专注于交付业务成果(如增加收入、提高客户保留率)而非单纯的技术实施[23][27] * 公司是Google Cloud的顶级合作伙伴(仅3%的合作伙伴获得此地位) 并与Microsoft Azure和Amazon Web Services等建立了合作伙伴关系 这些合作关系为公司提供了可靠的收入渠道和高价值机会[19][27] **战略重点与增长驱动因素** * 公司的核心战略是“深耕与扩展”(land and expand) 专注于战略客户(大型跨国企业) 前30名战略客户平均每年贡献80万美元收入 平均合作年限超过7年 战略客户收入占比从2023年的45%增长至当前的70%[17][29][30] * 公司已确定50个目标企业客户 其目标可寻址市场(TAM)超过20亿美元 为未来增长提供了巨大空间 无需大量新客户 只需深化现有客户关系即可实现增长[18] * 公司通过有机和无机增长驱动扩张 近期与汇丰银行(HSBC)达成2600万美元的信贷设施 以支持其并购策略 公司由12次收购整合而成 并已完全整合业务[21] **财务绩效与运营指标** * 2025年上半年收入为1860万美元 EBITDA为360万美元 同比增长36% 运营收入也在增长 表明业务运行高效[21] * 公司展示了具体的业务成果案例 例如帮助The Economist将订阅用户保留率提高9% 帮助NothingTail将客户保留率提高11% 帮助Reed Exhibitions将展会出席率提高28% 以及将技术行业的合作伙伴效率提升超过50%[3][14] **管理团队与股东 alignment** * 管理团队与股东利益高度一致 管理层目前拥有公司27%的股权(2024年1月时为7%) 其中CEO本人持有12%的股权[25] **其他重要信息** * 公司拥有高度可扩展的交付模式 其南亚(印度)的交付能力可以快速支持收入翻倍或三倍的增长[20][24] * 公司认为其处于AI应用的早期阶段 市场支出存在 企业正寻求在未来几年试验和转型其商业模式[24]
这不是一个均值回归的市场!高盛顶级交易员对市场的十大观察
华尔街见闻· 2025-08-01 16:07
核心观点 - 当前市场呈现结构性分化 AI和大型科技公司持续领涨 落后板块缺乏补涨动力 非均值回归市场 [1][8] - AI技术驱动业绩增长 渗透至全栈技术层 提升广告效率和用户参与度 [2][3] - 科技巨头资本支出大幅增加 预示新一轮增长周期 [4] 公司表现 Meta Platforms - 广告收入同比增长加速2个百分点至22% 按固定汇率计算 [1] - Instagram视频观看时长全球同比增长20% [1] - 连续八个季度超出市场普遍预期EPS 10-20% [1] - AI驱动广告转化率提升 Instagram增加5% Facebook增加3% [3] - 推荐系统改进使Facebook和Instagram时间投入分别增加5%和6% [3] - 2026年资本支出预计约1000亿美元 [1][4] 微软 - Azure云服务营收同比增长加速4个百分点至39% 按固定汇率计算 [6] - 毛利率和运营利润率保持稳定 尽管资本支出大幅增加 [2] - 2027财年EPS预计约19.32美元 股价为预期29-30倍 [2] - 2026财年资本支出上调约100亿美元至1160亿美元 2027财年增加约250亿美元至1380亿美元 [2][4] - Microsoft Fabric同比增长55% 拥有超过2.5万用户 [6] 公共云与软件行业 - 公共云存在持续容量/供应短缺 [6] - 软件行业表现参差不齐 Check Point财报不及预期股价下跌15% Confluent因订阅收入前景疲软股价下跌25% [5] - Confluent净收入留存率降至历史最低114% [5] - 云基础设施供应商Azure Databricks和Snowflake在Azure上使用加速 [6] Adobe - 被低估的高质量软件公司 AI有望支撑增长向量 [6] - 新解决方案将在未来几个季度扩大规模 支持2026财年净新增年度经常性收入拐点 [6] 其他互联网公司 - Booking Holdings通过AI实现个性化"互联旅行" 创造类人工旅行社体验 [7] - AI助手叙事推动互联网公司增长 [7] 行业动态 - 谷歌提高2026年资本支出约180亿美元至1020亿美元 [4] - AI向上渗透至技术栈 推动对高利润产品的需求 [2] - OpenAI大规模使用Cosmos DB [6] - 市场关注亚马逊AWS财报表现 [6] 今日事件 - 发布就业成本指数和PCE指数 [9] - 高盛举办RepVue及欧盟AI与半导体研讨会 [9] - AEVA投资者日举行 [9] - 亚马逊 苹果等TMT公司发布财报 [9]
数据的三体问题:为何分析、决策和运营无法协调一致
36氪· 2025-07-25 08:21
数据系统的三个世界 - 现代企业存在三个平行数据世界:分析系统(历史报告/仪表盘)、决策系统(预测模型)和运营系统(执行层),三者缺乏协调导致行动脱节 [5][6][7] - 分析系统提供清晰的历史数据可视化(如Snowflake/Looker),但仅用于展示而非触发行动,最终数据流向PPT和收件箱 [5] - 决策系统(如供应链预测模型)能识别未来风险(如SKU缺货),但无法自主执行补货或物流调整 [6] - 运营系统(如ERP/工单系统)专注解决当前问题,但常忽略预测信号,按过时流程运行 [7] 系统割裂的典型案例 - 供应链危机场景:卡车延误时,分析仪表盘显示历史SLA未达标率3.2%,预测系统提示供应商常周二缺货,但无人整合信息触发改道决策 [8][9][10] - 制造企业依赖Excel管理多国供应商的200+零部件,因行数限制导致关键决策风险,反映系统控制力缺失 [14][15] AI就绪的核心要素 - 基础层需实现快速、干净、可靠的数据访问,延迟超过24小时将丧失行动时机 [19] - 进阶需统一数据平台整合三个世界,避免人工充当系统间桥梁 [20] - 理想状态是代理系统自主行动(如POS机故障预测+远程修复),直接降低事件成本 [21][27][28] 行动层的价值实现 - 行动层作为"企业大脑"整合分析信号(传感器)、预测反射(ML)和运营执行(肌肉),形成闭环 [32][33][34][35] - 真正代理应用案例:POS机故障预测后自动远程修复80%问题,节省100美元/次现场服务费 [27][28] - 零售业AI代理系统可避免200台POS机故障导致的顾客流失,直接提升营收 [25][26] 行业现状与转型方向 - 当前多数企业数据系统被动运行,洞察半衰期短如"昨日报纸",浪费90%分析成果 [1][2][12] - 转型关键是将预测转化为行动,如亚马逊的意图检测仅在用户点击"立即购买"时创造价值 [39] - 未来竞争在于构建"响应系统"而非报告系统,行动效率决定商业结果 [30][31][36]
数据浪潮下千亿美金赛道 小摩为何称Snowflake(SNOW.US)为“企业AI数据底座首选”?
智通财经网· 2025-06-20 16:49
公司概况 - 公司是云数据仓库解决方案领域的佼佼者,凭借强大的可扩展性与弹性重塑云数据管理格局 [1] - 核心竞争力在于云原生、多区域架构以及卓越的数据共享能力,服务范围涵盖小型创业公司到财富10强企业 [1] - 可追求的市场机会达670-870亿美元,正在构建"数据云"新生态以借助网络效应扩大市场空间 [1] 产品与技术 - 产品简单易用且价值主张明确,最新产品Cortex因简洁性优于Amazon Bedrock等竞品 [2] - 积极拥抱人工智能技术,通过Agents产品使客户在数据查询等任务上实现从数周到数小时的效率飞跃 [2] - 数据跨部门共享优势显著,产品体系从一年前功能缺失到如今努力打造360度全方位平台 [2] 财务表现 - 2025财年收入预计为36.26亿美元,调整后EBITDA为5.67亿美元 [2] - 2026财年收入有望增长至45.15亿美元,EBITDA达7.58亿美元 [2] - 2027财年收入预期提升至54.19亿美元,EBITDA为9.5亿美元 [2] 估值与竞争 - 估值基于15倍企业价值与2026财年预期收入的比率,高于同行平均的12倍 [3] - 近期收入增长率26%以及长期自由现金流利润率25%支撑估值溢价 [3] - 面临公共云服务提供商和Databricks等竞争对手的压力,但仍展现出强劲竞争力并扩大市场份额 [3] 行业趋势 - 数字化转型浪潮下数据作为核心资产的重要性凸显,公司助力企业打破数据孤岛实现高效共享 [4] - 人工智能技术发展为公司带来新机遇,平台与AI深度融合提升企业运营效率与竞争力 [4]
Snowflake (SNOW) 2025 Investor Day Transcript
2025-06-04 05:20
纪要涉及的行业或者公司 纪要主要围绕Snowflake公司展开,同时提及了一些竞争对手和合作伙伴,包括Databricks、Google、Salesforce、ServiceNow、SAP、Amazon、Microsoft、Gannett、Caterpillar、McDermott、OpenAI、Anthropic等,以及行业相关的技术和概念,如AI、机器学习、数据仓库、云存储等。 纪要提到的核心观点和论据 1. **数据与AI的重要性** - **核心观点**:数据和AI在企业界引发了极大兴趣和兴奋,数据从以往的事后考虑因素转变为对企业运营至关重要的因素,能够驱动业务转型,Snowflake因此迎来发展机遇 [1][4][5]。 - **论据**:以Google为例,其在搜索广告业务中重视数据反馈,通过结合广告商意图和用户反馈来推动产品发展;Snowflake的客户如迪士尼利用数据进行预测和决策 [2][3][4]。 2. **Snowflake的产品战略与布局** - **核心观点**:Snowflake致力于在端到端数据生命周期的各个关键环节发挥作用,包括数据的诞生、摄取、转换、清理、分析和预测分析等,并通过一系列产品和技术创新来实现这一目标 [5]。 - **论据** - 开发Unistore超过五年,将事务存储与分析功能相结合;收购Crunchy Data,获取世界级Postgres开发人员,增强在事务市场的竞争力;收购DataBolo,加速数据摄取到Snowflake和云存储的过程 [12][13][14]。 - 推出OpenFlow和Cortex Search等功能,解锁非结构化数据的价值,使数据处理和分析能够同时作用于结构化和非结构化数据 [6][7]。 - 持续投资于数据处理的早期阶段,如Snowpark和与DBT的合作,确保在早期计算方面处于领先地位 [15][16]。 - 强调AI就绪数据的重要性,通过语义视图和元数据管理,使数据更易于使用和组合,为AI应用提供支持 [17][18][19]。 3. **竞争优势与市场地位** - **核心观点**:Snowflake在市场上具有显著的竞争优势,通过专注于简单性和易用性,以及在核心技术和分析能力方面的领先地位,有望在长期竞争中获胜 [53][55]。 - **论据** - 第三方研究表明,Snowflake在总拥有成本和性能方面具有优势,通过简化复杂性和提供更好的用户体验,能够为客户创造更大价值 [54][59][60][61]。 - 在分析计算方面,Snowflake已经实现了十多年的无服务器架构,并且推出的Adaptive Warehouse代表了分析计算的重大变革 [33]。 - 在开放数据领域,Snowflake在Icebreak数据的基准测试中表现出色,能够为客户提供公平的竞争环境,减少数据锁定 [63]。 4. **AI驱动的生产力和创新** - **核心观点**:AI技术为Snowflake带来了更高的生产力和创新能力,通过组织架构的优化和AI工具的应用,能够加速产品开发和提升团队效率 [74]。 - **论据** - 产品和工程团队按产品类别进行组织,每个团队有明确的任务和目标,能够快速推进项目并在各自领域取得胜利 [74]。 - 工程师使用Cursor等AI工具提高了生产力,如Benoit使用AI辅助编程,生产力得到显著提升 [74][75]。 - 公司在AI研究方面取得了进展,团队构建了Arctic和Arctic Embed等模型,并在SQL生成等领域处于领先地位 [77][79]。 5. **市场机会与增长潜力** - **核心观点**:Snowflake认为市场存在巨大的增长机会,随着企业对数据和AI的需求不断增加,以及从本地到云的迁移趋势,公司有望实现更大的市场份额和业务增长 [32]。 - **论据** - 许多客户在短时间内通过使用Snowflake取得了显著成果,证明了公司能够帮助客户快速实现价值 [32]。 - 公司在分析领域的核心技术领先,能够为客户提供更好的解决方案,满足不同行业和规模企业的需求 [32][33]。 - 随着AI的发展,对数据治理和数据基础的需求增加,Snowflake作为数据平台能够为客户提供支持,帮助他们解锁数据价值,开拓新的业务机会 [106][107]。 6. **销售与市场策略** - **核心观点**:Snowflake的销售和市场团队通过多种策略来推动业务增长,包括提高销售团队的生产力、加强合作伙伴关系、投资专业化和关注客户需求等 [115][116][122]。 - **论据** - 招聘了大量销售和营销人员,并利用Snowflake Intelligence等工具提高他们的生产力,使新员工能够更快地熟悉客户情况并开展工作 [118][119]。 - 与Hyperscaler合作伙伴、全球系统集成商和其他合作伙伴建立了良好的合作关系,通过合作伙伴获得了一定的规模和市场覆盖 [122][123]。 - 投资于技术和行业专业化,帮助客户解锁AI和ML的价值,提供更有针对性的解决方案和业务成果 [128][129]。 - 以客户为中心,通过提供简单、连接和可信的价值主张,满足客户需求,赢得客户信任 [112][113][114]。 其他重要但是可能被忽略的内容 1. **公司组织架构调整**:产品和工程团队按产品类别进行组织,分为分析、数据处理、AI产品、应用和基础架构五个领域,以提高团队的专注度和执行力;将客户支持组织纳入市场推广部门,加强与客户的紧密联系和反馈循环 [29][136]。 2. **人才招聘与培养**:在研发和销售团队中注重招聘早期职业阶段的人员,以引入新的思维和活力;通过分析最有生产力的员工背景,建立招聘模型,提高招聘效率和质量 [48][217]。 3. **合作伙伴关系**:与众多合作伙伴建立了广泛的合作关系,包括Hyperscaler合作伙伴、全球系统集成商、数据云提供商等,通过合作实现资源共享和优势互补,共同推动业务发展 [122][123][124]。 4. **价格策略**:在Gen two和Adaptive计算方面,Snowflake采取了灵活的价格策略,既保证客户能够获得更好的价格性能,又能够控制何时以及向客户传递多少价值,以避免重蹈Teradata的覆辙 [62][68][72]。 5. **客户案例**:通过多个客户案例展示了Snowflake如何帮助客户解决实际问题,提高效率和创造价值,如帮助建筑承包商提高投标效率、帮助投资银行加速数据获取和分析等 [110][113]。 6. **行业趋势与竞争**:讨论了行业内的一些趋势和竞争情况,如SaaS公司进入数据层的现象,Snowflake认为这是由于AI对其业务模式构成威胁,因此积极与这些公司合作,同时强调自身作为通用数据平台的优势 [205][206][207]。
Yuki Releases First Industry Guide to Snowflake Optimization, Helping Data Teams Save 30-60% Without Manual Tuning
GlobeNewswire News Room· 2025-05-31 00:53
公司动态 - Yuki发布首份旗舰产品《Snowflake优化终极指南(2025版)》,面向数据团队、FinOps负责人和平台所有者,帮助应对大规模Snowflake环境日益增长的复杂性和成本问题[1] - 该指南剖析了Snowflake超支的根本原因,包括闲置仓库、数据摄取陷阱、失控的云服务费用等,并提供了可操作策略,帮助领先团队在不牺牲性能的情况下将计算成本降低30%-60%[2] - Yuki联合创始人兼CEO表示,Snowflake改变了数据堆栈,但成本控制未能跟上,许多团队淹没在仪表板中,手动调整设置或依赖无法真正优化的可视化工具[3] 产品与服务 - Yuki提供动态仓库优化、即插即用集成和即时投资回报,无需代码更改或性能权衡,受到大型数据团队的信任[4] - Yuki是Snowflake的实时优化平台,通过消除计算浪费、最大化性能并保持数据平台精简,实现30%以上的节省,无需仪表板、手动调整或操作开销[5] 行业洞察 - 指南揭示了传统FinOps的缺陷以及仪表板的不足,提供了6种以上Snowflake连接优化技术以降低查询成本[5] - 指南指出数据摄取和元数据查找等隐藏服务会悄然消耗预算,并提供了实际成本基准(例如单个2XL仓库每月11,500美元)及预防方法[5] - 指南强调了用Yuki等工具的实时自动化替代手动调整的投资回报率[5]
Yuki Now Available in AWS Marketplace for Snowflake Cost Optimization
GlobeNewswire News Room· 2025-05-22 23:10
公司动态 - Yuki的Snowflake成本优化企业级平台现已在AWS Marketplace上线,使客户能够通过现有AWS协议无缝采购和部署该解决方案[1] - 公司联合创始人兼CEO表示,加入AWS Marketplace旨在帮助企业更轻松地采用自动化优先的解决方案来优化Snowflake环境[3] - 平台提供企业级采购流程,可轻松集成到现有采购工作流中,利用熟悉的合同和计费结构[4] 产品优势 - 采用全自动化方法进行Snowflake成本优化,不同于依赖静态报告和手动调整的传统工具[2] - 持续监控使用模式,实时智能调整工作负载,消除浪费,无需手动仪表盘或持续监督[2] - 自动识别并消除低效问题,确保Snowflake环境规模适当且成本高效[4] - 快速无摩擦部署,无需对现有查询或数据管道进行更改[4] 市场定位 - 专门为大规模控制Snowflake成本困难的企业设计[3] - 提供"行动而非仅建议"的解决方案,强调自动化执行能力[2] - 通过AWS Marketplace的可用性降低了企业采用门槛[1][3]