Workflow
嵌入模型
icon
搜索文档
RAG系统设计:揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
AI前线· 2025-05-14 13:47
RAG系统与语义搜索 - RAG系统通过检索增强生成解决LLM的局限性,包括训练成本高和幻觉问题[5] - 语义搜索在RAG系统中被严重低估,其核心是将文件映射到高维测度空间实现语义匹配[10] - 语义搜索允许直接将文件作为索引,通过embedding形式与查询对比,具有处理低资源文件和长文件的灵活性[11][12] 系统设计与损失函数 - 工程是取舍的艺术,需要明确能够接受的权衡和牺牲[19] - Contrastive Loss形成多个相距m距离的紧密聚类,适用于结构紧密、方差较小的数据[21] - Triplet Loss适用于类内方差较大的数据,如同一个人在不同光照条件下的人脸图像[26][27] 距离函数与嵌入模型 - 余弦距离不符合度量空间定义但计算简单,适合推荐系统等只关注方向的场景[29][30] - 欧几里得距离适合复杂场景如电商推荐,但可能出现数值溢出和高维数据稀疏问题[35][36] - 嵌入模型选择优先级:性能/成本权衡 > 数据领域 > 损失函数 > 距离度量[42][43] 向量数据库与索引 - 向量数据库选择需考虑开源/闭源、实现语言和部署方式[45][48] - 索引方式包括哈希、树、图和倒排索引,图索引适用于大多数高维数据场景[50] - 系统设计重点是为语义搜索提供数据结构,如分层结构或Context Enrichment[53][56] KG-RAG与未来趋势 - KG-RAG能清晰描述实体关系但成本高,Lazy Graph RAG通过结合语义搜索降低成本[72][73] - 大模型正向端设备迁移,需要更快的RAG实现以适应有限资源[79] - 机器学习系统设计最佳实践是优先使用传统方法如SQL或正则表达式[81]
2.2亿美元!清华姚班天才创办的AI公司卖身
创业邦· 2025-03-08 09:17
意料之外,情理之中。 作者 丨 刘杨楠 编辑 丨 海腰 图源丨CNBC 3月6日,开源数据库龙头MongoDB遭遇上市以来最黑暗的一天。 当天公布2025财年第四季度报告和2026财年业绩预告后,略显悲观的数据预测引得MongoDB股价暴跌近27%,估值缩水至143亿美 元,较195亿美元的最高值跌去50亿美元。 华尔街的分析师们纷纷开始下调目标价格,但评级仍保持在"买入"或"持有"状态。分析师们之所以对MongoDB保持相对积极的态度, 或许与前不久的一桩收购案有关。 马腾宇自己的履历就足够惹眼。 2008年,马腾宇在清华姚班毕业后,到普林斯顿大学攻读博士学位;博士二年级获得理论计算机方向的西蒙斯奖、IBM博士奖学金、 NIPS最佳学生论文奖、COLT最佳论文奖等多种奖项;博士毕业后,马腾宇到斯坦福担任助理教授,也正式开始研究AI。 和马腾宇打过交道的人无一不称他为天才。他的博导教授曾预言,"如果他创业,未来一定会给全球科技带来崭新一页"。2021年,马 腾宇拿下有"诺贝尔奖风向标"之称的斯隆奖后,"AI教母"李飞飞不掩赞叹:"真正的天才不该埋没在实验室"。 于是,马腾宇创办了Voyage AI。 公司成立 ...