RAG系统与语义搜索 - RAG系统通过检索增强生成解决LLM的局限性，包括训练成本高和幻觉问题[5] - 语义搜索在RAG系统中被严重低估，其核心是将文件映射到高维测度空间实现语义匹配[10] - 语义搜索允许直接将文件作为索引，通过embedding形式与查询对比，具有处理低资源文件和长文件的灵活性[11][12] 系统设计与损失函数 - 工程是取舍的艺术，需要明确能够接受的权衡和牺牲[19] - Contrastive Loss形成多个相距m距离的紧密聚类，适用于结构紧密、方差较小的数据[21] - Triplet Loss适用于类内方差较大的数据，如同一个人在不同光照条件下的人脸图像[26][27] 距离函数与嵌入模型 - 余弦距离不符合度量空间定义但计算简单，适合推荐系统等只关注方向的场景[29][30] - 欧几里得距离适合复杂场景如电商推荐，但可能出现数值溢出和高维数据稀疏问题[35][36] - 嵌入模型选择优先级：性能/成本权衡 > 数据领域 > 损失函数 > 距离度量[42][43] 向量数据库与索引 - 向量数据库选择需考虑开源/闭源、实现语言和部署方式[45][48] - 索引方式包括哈希、树、图和倒排索引，图索引适用于大多数高维数据场景[50] - 系统设计重点是为语义搜索提供数据结构，如分层结构或Context Enrichment[53][56] KG-RAG与未来趋势 - KG-RAG能清晰描述实体关系但成本高，Lazy Graph RAG通过结合语义搜索降低成本[72][73] - 大模型正向端设备迁移，需要更快的RAG实现以适应有限资源[79] - 机器学习系统设计最佳实践是优先使用传统方法如SQL或正则表达式[81]