Workflow
最大内积检索
icon
搜索文档
只改2行代码,RAG效率暴涨30%!多种任务适用,可扩展至百亿级数据规模应用
量子位· 2025-06-21 14:07
向量检索技术突破 - 浙江大学团队开源PSP方法,通过修改两行代码使RAG向量检索效率提升30%,适用于十亿级大规模应用[1] - 突破传统欧式距离检索局限,解决最大内积检索中语义相关性与数学结构不匹配的核心难题[2][3][4] 技术原理创新 - 发现欧式距离图结构经微小改动即可实现最大内积全局最优解,无需空间转换导致信息损失[8][11] - 提出贪心算法新范式:构建图用欧式距离,搜索时改用内积度量,保持拓扑结构同时精准定位语义相关结果[10][11] - 设计"由内而外"搜索路径优化策略,利用决策树实现自适应早停机制,减少35%冗余计算[16][19][20] 性能验证 - 在8个高维数据集测试中,PSP的QPS表现稳定领先,MNIST数据集检索速度达第二名4倍[21][23] - 支持1536-3072维向量,1亿级数据规模下仍保持log(N)级时间复杂度,具备百亿级扩展潜力[21][25][26] - 泛化性强,覆盖文搜文、图搜图、推荐系统召回等多模态场景,无数据集依赖性缺陷[1][25] 行业应用价值 - 向量检索为AI产品核心组件,PSP解决度量空间错配问题,直接提升语义搜索准确率[6][7] - 开源方案降低技术门槛,现有HNSW/NSG等系统仅需两行代码修改即可适配最大内积场景[11][13]
只改2行代码,RAG效率暴涨30%!多种任务适用,可扩展至百亿级数据规模应用
量子位· 2025-06-20 18:31
核心观点 - 浙江大学团队开源新方法PSP,通过修改两行代码使RAG向量检索效率提升30%,适用于多种任务并支持十亿、百亿级别大规模应用[1] - PSP突破最大内积检索难题,解决传统方法因不满足三角关系导致的失效问题[3][4] - 该方法设置提前停止策略避免算力浪费,显著提升搜索速度[5] 技术背景 - 向量检索是AI产品核心技术组件,但主流算法如HNSW、NSG均基于欧式空间设计,导致语义相关性检索出现偏差[6][7] - 最大内积检索领域长期缺乏现象级算法,现有方法存在数据集适应性差的问题[7] - 内积空间因缺乏"三角不等式"属性,难以实现高效检索空间裁剪[9][10] 技术突破 - PSP证明在欧式距离图索引上通过贪心算法可找到全局最优最大内积解[10] - 仅需修改候选点队列的堆设定和距离度量两处代码即可适配现有欧式算法[11][13] - 搜索行为分析显示最大内积解多位于数据"外围",PSP据此优化起始点分布[16][17] 性能优化 - 采用决策树实现自适应早停策略,通过四类特征判断最优停止时机[19][20] - 决策树高度经剪枝控制在较低水平,可高效嵌入搜索代码[20] 实测表现 - 在8个高维数据集测试中,PSP检索速度(QPS)显著优于现有方法,在MNIST数据上超第二名4倍[21][23] - 支持1536-3072维高维向量,最大测试数据集达1亿规模(Commerce100M)[21] - 在"文搜文"、"图搜图"等多模态任务中展现强大泛化能力[25] - 时间复杂度呈log(N)增长,具备十亿级数据高效检索潜力[26]