RAG(检索增强生成)

搜索文档
猫猫拯救科研!AI怕陷“道德危机”,网友用“猫猫人质”整治AI乱编文献
量子位· 2025-07-01 11:51
核心观点 - 通过"猫猫"威胁可暂时改善AI编造参考文献的问题 但无法根本解决幻觉现象[1][2][5] - 测试显示DeepSeek在无干预情况下会生成虚假文献链接和标题 错误率显著[8][12][13][14] - 加入猫猫提示词后模型输出真实性部分提升 但仍存在真假混杂现象[19][20][21][22][24] - 行业普遍采用RAG和联网搜索作为降低幻觉的有效手段[31][32][33] AI幻觉现象分析 - 编造文献本质是大模型基于统计规律生成文本的固有缺陷[25][26] - 当前技术无法通过道德约束提示词完全消除幻觉[28][30] - 语言模型对语义的理解程度仍存在学术争议[27] 解决方案对比 - 传统提示词工程(如猫猫威胁)效果有限且不稳定[22][24] - RAG技术通过外部知识库校正输出准确性[31] - 主流模型已集成联网搜索功能(如Gemini DeepSeek)[32] - 专业AI搜索工具(如Perplexity)在资料质量上更具优势[33][34] 用户反馈数据 - 相关小红书帖子获4000+点赞和700+评论 反映科研群体共鸣[5] - 评论区证实类似方法对其他模型(如DeepSeek)的适用性[6][24]
Gemini 2.5 Pro 负责人:最强百万上下文,做好了能解锁很多应用场景
Founder Park· 2025-06-30 19:47
长上下文技术优势 - Gemini系列在百万级长上下文处理上具有显著领先优势,尤其是Gemini 2 5 Pro能直接遍历整个项目代码,带来差异化体验[1] - 长上下文将引发产品交互革新并创造全新应用场景[2] 当前技术瓶颈与发展方向 - 百万级token上下文质量未达完美前,盲目扩大规模意义有限[3][5] - 成本下降后千万级token上下文将成为标准配置,对编码等场景产生革命性影响[3][35] - 当前主要瓶颈在于短上下文模型中信息源间存在注意力竞争[8] 记忆机制差异 - 权重内记忆(in-weights memory)存储预训练知识但难以更新,上下文内记忆(in-context memory)更易修改[6] - 三类需上下文补充的知识:时效信息/私人信息/罕见事实(互联网出现少于2次的内容)[7] RAG协同效应 - RAG通过向量检索实现海量信息粗筛,与长上下文精细处理形成互补而非替代关系[10][11] - 企业级数十亿token知识库场景仍需RAG,两者协同可提高信息召回率[11] 推理能力关联 - 长上下文能力与推理表现存在深层联系,输出反馈输入可突破网络深度限制[14] - Agent既消耗长上下文记录状态,又能主动提供上下文获取服务[15][16] 开发者实践建议 - 问题应置于上下文末尾以利用缓存机制,前置会导致每次请求重新处理[22] - 避免将长上下文作为"数据垃圾桶",无关信息会降低多关键信息检索性能[23] - 上下文缓存可使后续请求成本降低75%,特别适合固定文档/代码库场景[20][21] 评估体系演进 - "大海捞针"式单信息检索测试已过时,强干扰环境/多关键信息检索成为新重点[27] - 检索与合成评估(如文本总结)更能体现真实能力,但自动化评估仍具挑战性[28] 成本与规模限制 - 千万级token推理测试已获良好质量数据,但单次服务器启动成本过高制约商业化[30] - 百万级上下文质量优化优先于规模扩张,完美质量将开启未知应用场景[34] 未来三年展望 - 千万级token上下文将使AI编码助手完整处理大型项目,超越人类程序员工作模式[35] - 算法创新与推理工程并重,需专业团队解决百万级token服务化难题[36]
全面拥抱AI后,OceanBase推出开箱即用RAG服务
南方都市报· 2025-05-17 17:32
公司战略升级 - 公司升级AI战略,从一体化数据库向一体化数据底座演进,通过一套引擎支持TP/AP/AI混合负载、向量数据库及SQL与AI混合检索 [1][2][4] - CEO通过全员信宣布公司全面进入AI时代,CTO提出构建Data×AI能力,推动战略演进 [1][4] - 蚂蚁集团支持公司在金融、医疗、生活等核心场景实践Data×AI理念,并继续推动开源开放 [4] 新产品发布 - 发布PowerRAG,提供开箱即用的RAG服务,打通数据层、平台层、接口层与应用层全流程,支持文档和对话API接口 [1][5][7] - PowerRAG旨在解决传统RAG开发周期长、维护成本高、调试困难等问题,支持文档知识库、智能对话、图像比对等场景快速开发 [5][7] - 发布业内首个"共享存储"产品,实现对象存储与TP数据库深度集成,TP负载存储成本最高降低50% [9][10] - "共享存储"采用多级缓存架构、自研LSM-Tree引擎等技术,支持毫秒级响应,覆盖TP、时序类、OLAP等业务场景 [10] 技术能力突破 - 向量性能达业内领先水平,基准测试显示优于三款开源向量数据库 [7][8] - 混合检索能力增强,通过自研向量算法库、内核级多模查询实现更快更准的检索 [9] - OB Cloud上线百度云,已支持阿里云、华为云、腾讯云、AWS、Google Cloud等六大公有云平台,覆盖超100个可用区 [10] 行业应用与客户案例 - 公司数据库连续十余年支撑"双11",服务金融、政务、运营商等2000多家客户 [7] - 客户案例包括联通软研院基于OceanBase开发AI助手,银泰商业打造零售业智能问数平台 [7] - 行业共识认为AI时代数据存在四大挑战:获取成本高、行业数据稀缺、多模态处理难、质量评估难 [1]
RAG系统设计:揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
AI前线· 2025-05-14 13:47
RAG系统与语义搜索 - RAG系统通过检索增强生成解决LLM的局限性,包括训练成本高和幻觉问题[5] - 语义搜索在RAG系统中被严重低估,其核心是将文件映射到高维测度空间实现语义匹配[10] - 语义搜索允许直接将文件作为索引,通过embedding形式与查询对比,具有处理低资源文件和长文件的灵活性[11][12] 系统设计与损失函数 - 工程是取舍的艺术,需要明确能够接受的权衡和牺牲[19] - Contrastive Loss形成多个相距m距离的紧密聚类,适用于结构紧密、方差较小的数据[21] - Triplet Loss适用于类内方差较大的数据,如同一个人在不同光照条件下的人脸图像[26][27] 距离函数与嵌入模型 - 余弦距离不符合度量空间定义但计算简单,适合推荐系统等只关注方向的场景[29][30] - 欧几里得距离适合复杂场景如电商推荐,但可能出现数值溢出和高维数据稀疏问题[35][36] - 嵌入模型选择优先级:性能/成本权衡 > 数据领域 > 损失函数 > 距离度量[42][43] 向量数据库与索引 - 向量数据库选择需考虑开源/闭源、实现语言和部署方式[45][48] - 索引方式包括哈希、树、图和倒排索引,图索引适用于大多数高维数据场景[50] - 系统设计重点是为语义搜索提供数据结构,如分层结构或Context Enrichment[53][56] KG-RAG与未来趋势 - KG-RAG能清晰描述实体关系但成本高,Lazy Graph RAG通过结合语义搜索降低成本[72][73] - 大模型正向端设备迁移,需要更快的RAG实现以适应有限资源[79] - 机器学习系统设计最佳实践是优先使用传统方法如SQL或正则表达式[81]