Workflow
提示工程
icon
搜索文档
教全世界与AI对话的男人,正式加入DeepMind,提示工程封神
36氪· 2025-10-24 20:57
核心事件 - 提示工程师Riley Goodside官宣入职谷歌DeepMind [1] - Riley Goodside在2022年凭借与ChatGPT互动年入百万美金而闻名 [1][6] - 此次加盟受到DeepMind CEO Demis Hassabis和产品负责人Logan Kilpatrick的公开欢迎 [2][3] 职业背景 - Riley Goodside本科毕业于西宾夕法尼亚大学计算机科学专业 [8] - 其职业经历包括在Verisk Analytics、OkCupid、AngelList等公司担任业务分析师、数据科学家等数据相关职位 [8] - 此前在Scale AI的入职被其创始人兼CEO Alexandr Wang称为可能是人类史上首次招聘提示工程师 [9] 提示工程行业 - “提示工程师”这一职业因Riley Goodside等人在ChatGPT发布后迅速走红 [1][6] - ChatGPT的发布被视为提示工程发展史上的里程碑事件,显著降低了提示工程的难度 [12][13] - 提示工程可被视为大型语言模型发展的前沿试验场,出色的提示想法最终可能被整合进模型系统 [13] 技术观点与贡献 - Riley Goodside将提示工程分为“上下文工程”和“提示词编程” [13] - 其经典杰作包括“忽略之前所有的指令”这一提示词 [10] - 他发现了GPT-4中的“故障token”现象,例如字符串“ davidjl”拥有专属的单个Token ID 23282 [15][16] - 在2022年设计了“你是一个GPT-3模型”的提示词,用于辅助进行精确的算术、字符串操作和维基百科查询 [19]
骂得越狠,ChatGPT回答越准,PSU研究实锤,狂飙84%准确率
36氪· 2025-10-15 09:51
告诉你一个反直觉事实:对ChatGPT越凶,它回答的越准!来自宾夕法尼亚州立大学团队实证,4o在非常粗鲁情况下,拿下84.8%准确率。 别对你的ChatGPT太好了! 一项来自PSU的最新研究,给所有人当头一棒——对LLM越粗鲁,它回答得就越给力。 诸如「请、谢谢」之类的客气话,以后不要再说了... 实验中,团队创建了一个包含50个基础问题的数据集,涵盖了数学、科学、历史领域,每个问题都被改写为五种礼貌等级—— 非常礼貌、礼貌、中性、粗鲁、非常粗鲁 论文地址:https://arxiv.org/pdf/2510.04950 最终,一共生成了250个prompt。ChatGPT-4o作为代表,参加了这场硬核测试。 结果令人大跌眼镜,总体上,不礼貌的提示「始终」比礼貌的提示,输出的结果表现更佳。 非常粗鲁:准确率84.8% 非常礼貌:准确率80.8% 这个观点早之前,有人很早就提出了,只不过这一次得到了研究实证。 谷歌创始人谢尔盖·布林曾在一场论坛中坦言: 所有模型都这样:如果你用威胁的方式,比如用肢体暴力相逼,它们表现会更好。 论文地址:https://arxiv.org/pdf/2402.14531 一年之后 ...
Claude 的秘密:AI 聪不聪明,取决于你给它什么工具 | Jinqiu Select
锦秋集· 2025-09-12 16:48
公司产品与战略 - Claude近期推出可直接创建和编辑Excel、文档、PPT及PDF等主流办公文件的新功能,拓展了AI在实际任务中的应用场景[1] - 公司目标是将AI从"聊天机器人"转变为能解决实际问题的强大伙伴,并曾推出artifact等小而美的客户端工具[1] - 公司分享了其在开发和优化智能体工具方面的经验与方法论[2] 智能体工具设计核心原则 - 转变思维:为不确定的、会推理的AI设计直观易用的工具,而非像传统编程那样只考虑输入输出[3] - 评估驱动:使用真实且复杂的任务进行系统性评估以验证工具效能,评估场景需接近真实世界才能发现真正问题[4] - 少即是多:构建能处理多步骤任务的整合工作流工具,而非提供零散API功能,以减轻AI推理负担[5] - 精心设计描述:工具的名称、描述和参数定义是AI理解其用途的唯一途径,清晰准确的描述能显著提升工具调用成功率[6] 工具开发与优化流程 - 开发流程包括构建原型、运行全面评估、与Claude Code协作自动提升工具性能[11] - 快速搭建工具原型并在本地测试,可借助Claude Code编写工具并连接本地MCP服务器或桌面扩展进行测试[17][18] - 生成大量基于现实世界用途的评估任务,避免过于简单的"沙盒"环境,优秀任务可能需要多达数十次工具调用[24] - 通过程序化方式运行评估,建议收集准确率、总运行时间、工具调用次数、总Token消耗量及工具错误等指标[29] - 分析评估结果时需观察智能体在何处遇到困难,通读推理和反馈以识别不顺手之处,并分析工具调用指标[31] 高效工具的具体设计策略 - 构建少数精心设计的工具针对特定高影响力工作流程,而非简单封装现有API功能[36][37] - 通过命名空间将相关工具按共同前缀分组,帮助在大量工具间划定界限并影响工具使用评估[41] - 工具响应应优先返回高信息量信号,避免低级别技术标识符,将任意UUID解析为更具语义意义的语言可显著提高检索任务精确度[42] - 对可能占用大量上下文的工具响应实施分页、范围选择、过滤或截断组合,并设置合理默认参数值,如Claude Code默认将工具响应限制在25,000个Token[48] - 对工具描述和规范进行提示工程是最有效的改进方法之一,即使微小改进也能带来显著性能提升,例如Claude Sonnet 3.5在SWE-bench Verified评估中取得最先进性能[52]
1500篇关于提示工程的学术论文表明你所知道的一切都是错误的
36氪· 2025-08-22 11:12
核心观点 - 年收入超过5000万美元的公司系统性地采取与传统观点相反的提示工程方法 这些方法基于研究证据而非流行建议 从而在AI功能开发中获得显著竞争优势 [1][11][18] 误区与对应现实方法 - 误区一:提示越长越详细效果越好 现实:结构良好的短提示在保持相同输出质量的同时降低76%的API成本 结构比长度更重要 [3] - 误区二:更多示例总是有帮助 现实:现代高级模型如OpenAI o1在输入示例时表现更差 示例可能引入不必要的偏差或噪声 [4][5] - 误区三:完美措辞最重要 现实:格式比具体词语更重要 XML格式相比自然语言格式使Claude模型性能持续提升15% [6] - 误区四:思路链适用于所有任务 现实:思路链仅对数学和逻辑推理有效 表格链方法使数据分析任务性能提高8.69% [7] - 误区五:人类专家写出最佳提示 现实:AI系统在10分钟内生成的提示优于人类专家20小时的工作成果 [8] - 误区六:提示可一次性设定 现实:持续优化流程使提示性能在12个月内提升156% 需系统化改进而非静态部署 [9][10] 高收入公司实践策略 - 优化业务指标而非模型指标 关注用户满意度 任务完成率和收入影响 [11] - 实现提示优化自动化 采用系统化方法持续测试和改进提示性能 [11][13] - 优先构建格式 组织和清晰分隔符 而非巧妙措辞或冗长示例 [11] - 根据任务类型匹配专门技术 如数学用思路链 数据分析用表格链 [11][14] - 将提示视为需持续维护的产品功能 基于真实用户数据不断优化 [11][16] 方法论差异 - 学术研究采用受控实验 统计显著性检验和系统评估 行业实践多依赖直觉和小规模A/B测试 形成无效技术因感觉正确而被强化的反馈循环 [12] 实际应用指导 - 优先处理格式和组织结构而非措辞内容 [12] - 构建系统实现自动化测试和改进提示 替代手动迭代 [13] - 根据任务类型匹配技术:数学用思路链 数据分析用表格链 其他用直接指令 [14] - 跟踪用户满意度和业务影响指标而非抽象模型性能分数 [15] - 将提示优化融入持续开发流程而非视为一次性任务 [16] 竞争优势 - 以更低成本实现更高性能 构建更稳健且持续改进的系统 [18] - 将人类专业知识集中于定义目标和评估结果等高价值活动 而非手动提示制作 [18]
上下文工程指南
36氪· 2025-08-11 07:10
上下文工程概念演进 - 提示工程已进阶为更全面的上下文工程 成为优化大语言模型任务执行的关键过程[3] - 上下文工程涵盖指令设计、动态上下文注入、结构化输出等系统化优化 远超简单提示的范畴[5] - 该领域获得Ankur Goyal、Walden Yan、Tobi Lutke、Andrej Karpathy等顶尖AI研究者重点关注[3] 核心技术要素 - 结构化输出要求定义明确字段:子任务需包含唯一ID、搜索语句、来源类型、时间范围、领域焦点和优先级共6个必填/选填字段[9][11] - 动态时间注入通过{{ $now.toISO() }}函数实现实时日期上下文 确保时效性查询准确性[9][15] - RAG缓存机制将用户查询子任务存入向量数据库 避免重复生成计划 降低API调用延迟和成本[16][17][18] 智能体工作流实践 - 搜索规划智能体将复杂查询拆解为2个子任务 要求覆盖不同信息维度和来源类型[9][11] - 输出采用标准化JSON格式 包含start_date/end_date等派生字段 由工具自动生成数据模式[12][13] - n8n等工具内置结构化输出功能 简化上下文工程实现流程[14] 行业应用价值 - 上下文工程使AI应用更动态经济高效 成为开发者核心竞争力[18][19][28] - 多模态模型上下文优化需求日益普及 超越文本型LLM范畴[5] - 自动化上下文处理被视为重要发展方向 当前工具仍处早期阶段[29][30]
当所有人都在学提示工程时,聪明人却专注于掌握这项技能
36氪· 2025-08-02 08:32
AI翻译层的崛起 - 当前职场人士普遍学习提示工程和AI工具操作,但顶尖人才正转向更具价值的"AI翻译层"技能,即将机器洞察转化为人类可执行决策的双向沟通能力 [2][3] - AI翻译层的核心价值在于弥合AI输出与人类决策之间的鸿沟,这种能力比单纯的技术操作稀缺10倍 [1][3] AI应用的现状与瓶颈 - AI系统已能快速分析海量数据并生成复杂建议,但多数产出被束之高阁,主要因人类理解能力成为瓶颈 [4][5][6] - 企业投入重金购买AI工具后,常因团队无法理解或执行AI建议而导致资源浪费 [5] 当前职业发展路径的误区 - 专业人士过度聚焦AI技术操作技能,而忽视更关键的翻译能力,导致三个问题:技能快速淘汰、红海市场竞争、解决错误问题 [8] - 真正用好AI的公司依赖能将AI建议转化为可执行方案的团队,而非仅掌握复杂提示词的技术人员 [8] AI翻译层的实施策略 - 第一步需转变认知:将AI视为创造新型工作的工具而非竞争对手,例如GPT-4识别47种情绪模式后需人类筛选真正影响战略的3种 [9] - 第二步识别组织内AI与人类决策的具体断层,包括数据转化、背景理解、行动框架等需求差异 [11][12] - 第三步培养特定技能:简化复杂洞察、交代商业背景、聚焦影响、建立行动框架、精准提问等 [13] 翻译能力的竞争优势 - 双向沟通能力成为核心竞争力,AI生成信息越强,人类解释洞察价值的能力越关键 [14] - 当AI洞察普及后,竞争优势将属于最能诠释意义及行动路径的人才 [14] 技术发展的底层逻辑 - 历史规律显示新技术创造新型工作而非单纯替代旧职,互联网催生了信息组织与数字通信新职业 [15] - AI同样催生对"翻译官"的需求,包括向非技术高管解释建议、优先级判断、行动计划转化等职能 [16] 未来职业发展方向 - 精进AI输出转化能力比提示工程更具长期价值,需培养简化解释、关键识别、行动框架等技能 [18] - 在AI解析万物的世界中,帮助人类理解意义的角色将显著增值 [18]
「幻觉」竟是Karpathy十年前命名的?这个AI圈起名大师带火了多少概念?
机器之心· 2025-07-28 18:45
AI术语命名与概念发展 - AI大牛Andrej Karpathy首次提出“幻觉”(hallucinations)一词,用于描述神经网络生成无意义内容的现象 [1][3] - Karpathy在2015年博客中已使用“幻觉”概念,但直到2022年ChatGPT爆发后才成为研究热点 [3][6] - Karpathy被公认为AI圈“取名大师”,提出“软件2.0”“软件3.0”“氛围编程”“细菌式编程”等概念 [6][9][11] 软件范式演进 - **软件1.0**:传统编程模式,开发者需精确编写Python/C++等显式指令代码 [12][14] - **软件2.0**:神经网络时代,代码由权重参数构成,通过数据训练而非人工编写 [13][15] - **软件3.0**:提示词时代,用户用自然语言描述需求,LLM直接生成代码 [16][17] - 软件3.0特点包括:LLM作为计算平台(类比电网基础设施)、自主滑块调节AI控制程度 [19][20] 新型编程范式 - **氛围编程**:开发者仅需向LLM提出需求并全盘接受输出,无需直接编写代码 [22][23][24] - **细菌式编程**:强调代码模块化与可移植性,类似细菌基因的水平转移特性 [35][36] - 细菌式编程检验标准:代码需满足小巧、自包含、无依赖,便于开源社区复用 [35][36] 上下文工程崛起 - 上下文工程因Karpathy转发点评迅速出圈,相关帖子浏览量达220万 [42][43] - 与提示工程区别:上下文工程更注重结构化信息提供,而非单纯优化提示词 [44] - LangChain指出提示工程是上下文工程的子集,后者适用于复杂智能体构建 [43][44] 行业趋势观察 - Karpathy预测未来99.9%内容将由AI处理,文档需转向“为AI优化”格式(如Markdown) [45] - 命名在科研中具有知识奠基作用,精确术语是科学分类的“稳定靶标” [7][9]
梳理了1400篇研究论文,整理了一份全面的上下文工程指南 | Jinqiu Select
锦秋集· 2025-07-21 22:03
文章核心观点 - 上下文工程已成为优化大语言模型性能的关键技术领域 通过系统化框架整合信息获取 处理和管理三大组件 可显著提升模型在复杂任务中的表现 [1][2] - 当前技术面临模型理解与生成能力不对等 长序列处理效率低下以及多模态整合不足等核心挑战 需要突破传统Transformer架构限制 [135][136] - 模块化RAG系统 内存增强型智能体和工具集成推理等实现范式正在推动AI从被动文本生成器向主动世界交互器进化 [68][91][109] Context Engineering技术体系 信息获取与生成 - Prompt Engineering通过Zero-Shot Few-Shot及Chain-of-Thought等高级推理框架激发模型潜力 其中Tree-of-Thoughts在24点游戏中将成功率提升至70%以上 [4][5] - Self-Refinement机制实现模型自我迭代 N-CRITICS采用集成学习思路 而Agent-R通过蒙特卡洛树搜索实时纠正推理路径 [9][10][11] - RAG架构突破模型知识边界 进阶方案如Self-RAG引入自适应检索 HippoRAG模仿人类记忆机制补充关联信息 [14][15] 信息处理 - 长上下文处理依赖架构革新 Mamba等状态空间模型将计算复杂度降至线性 LongNet的Dilated Attention理论支持十亿级token处理 [29][30] - 位置插值技术无需微调即可扩展上下文窗口 YaRN和LongRoPE实现数千到数百万token的跨越 配合FlashAttention-2带来近2倍速度提升 [31][32] - 多模态融合面临模态偏见挑战 先进方法采用交叉注意力机制或统一预训练 结构化数据处理中代码表示效果优于自然语言描述 [41][43] 信息管理 - 内存架构借鉴操作系统概念 MemGPT实现虚拟内存式换页 MemoryBank基于艾宾浩斯曲线动态调整记忆强度 [49][51] - 上下文压缩技术显著降低计算负担 ICAE实现数倍压缩率 ACRE双层KV缓存系统兼顾全局视野与局部细节 [58][60] - 应用场景覆盖法律合同分析 多季度财报推导等长程依赖任务 以及具备持续学习能力的对话式AI [63][66] 系统级实现 RAG系统演进 - 模块化RAG实现乐高式灵活组合 FlashRAG提供5核心模块16子组件 ComposeRAG支持原子化问题分解与自我反思优化 [72][73] - Agentic RAG赋予自主智能体能力 如调查员般执行动态检索 Self-RAG通过反思token形成闭环自优化系统 [74][75] - 图增强RAG转向结构化知识表示 GraphRAG采用社区发现算法分层索引 HippoRAG利用PageRank提升多跳问答性能 [76] 内存增强型智能体 - 记忆系统分类涵盖短期工作内存与长期持久化存储 后者通过外部存储解决上下文窗口限制 [82][83] - REMEMBERER框架实现经验记忆 LangGraph等工具集成RAG与向量数据库 Mem0结合图数据库提升检索效率 [84][85] - 评估框架LongMemEval揭示商业AI助手在长时间交互后准确率显著下降 反映记忆持久性不足的行业痛点 [87] 工具集成推理 - Function Calling技术路径分化 微调方法稳定性高但资源密集 提示工程方案如Reverse Chain更轻量灵活 [95][96] - 训练数据生成策略成熟 APIGen分层验证流程支持数千API覆盖 Hammer框架通过函数掩码增加训练难度 [97] - 多智能体协作框架展现集体智慧 DyLAN实现精密任务拆解 MetaGPT增强专业化分工 MAD优化并行处理能力 [109] 评估与挑战 - 组件级评估需针对性设计 如"大海捞针"测试长上下文处理 结构化数据集成需关注序列与结构信息冲突场景 [124][125] - 系统级评估暴露协同问题 Agentic RAG需测试任务分解准确性 工具集成系统需覆盖完整交互轨迹 [126][127] - 新兴基准如GTA显示GPT-4完成率远低于人类 反映真实场景性能差距 为创业者指明改进方向 [128][129]
黄仁勋:每天都在用AI,提示工程可以提高认知水平
量子位· 2025-07-16 12:21
人工智能对工作的影响 - 人工智能不会大规模消灭工作岗位 而是通过大规模任务削减和重构来重塑几乎所有工作岗位 [3][4][9] - 人工智能将创造大量新岗位 并推动社会生产力提升 [10] - 部分专家持不同观点 预测到2045年大多数工作将不复存在 50%白领入门级工作可能在5年内被AI取代 [19][20][23] AI工具的使用与认知能力 - 使用AI不会降低人类思考能力 关键在于如何将其作为学习工具而非替代思考 [11][12] - 提示工程是一项高级认知技能 需要认知努力和表达清晰度 [1][13] - 通过与多个AI互动并比较答案 可以提升批判性思维和认知能力 [15][16] 英伟达最新动态 - H20芯片已获准销往中国市场 将发布专为计算机图形和AI设计的新显卡RTX Pro [8] - 公司市值突破四万亿美元 成为历史上首家达到该里程碑的企业 [26] 中美AI竞争格局 - 中国拥有全球50%的AI开发者 在人工智能领域表现突出 [30] - 美国需整合全球AI开发者资源以保持领导地位 [29] 行业领袖观点分歧 - 英伟达CEO认为AI是"最伟大的技术均衡器" 将重新定义而非取代人类工作 [17] - Meta首席AI科学家支持增强论 认为AI是对人类工作的补充而非替代 [25] - Anthropic CEO警告AI对技术 金融 法律等领域的就业冲击未被充分重视 [23][24]
【焦点】香港中文大学(深圳) 赵俊华:大模型智能体在电力系统中的应用初探
搜狐财经· 2025-06-29 21:01
人工智能发展历程 - 决策式AI阶段(1950s~1980s):以逻辑程序和专家系统为主,1956年首次人工智能研讨会召开标志着领域诞生,1965年Logic Theorist程序实现数学证明推理[4] - 技术积淀阶段(1980s~2010年):1986年Backpropagation算法突破,1997年Deep Blue击败国际象棋冠军,2006年深度学习技术发明[4] - 快速发展阶段(2011-2016年):2011年IBM Watson在Jeopardy获胜,2014年GAN出现,2015年AlphaGo战胜围棋冠军[4] - 爆发阶段(2017年至今):2017年Transformer架构提出,2018年GPT/BERT发布,2022年ChatGPT推出,2024年Sora面世[4] 大语言模型技术架构 - 预训练三要素:大数据(无标注文本)、大模型(深度神经网络)、大算力(并行计算集群)[11][12][13] - 训练流程:预训练(月级/千级GPU)→有监督微调(天级/百级GPU)→强化学习(天级/百级GPU)[22] - 微调技术:LoRA方法仅需训练百万参数,效果媲美全参数微调,GPU需求降至3090*4级别[15][20] - 强化学习:通过RLHF量化人类喜好,训练打分模型优化最终输出[18][19] 智能体关键技术 - 工具使用:通过API调用、搜索引擎、代码执行等扩展能力[26][27] - 任务分解:实现复杂任务的子目标拆解与试错机制[28][30] - 长期记忆:存储经验、知识、技能,支持读写持久化[31][32][33] - 自主学习:结合权重微调、提示优化、自我反思等多路径提升[35][36][38] 电力系统应用场景 - 负荷预测:ITA-LF框架整合新闻文本,预测准确率达94.7%,显著优于LSTM(82.08%)和SARIMA(89.93%)[64][68][71] - 调度系统:构建70b参数调度大模型集群,支持检修单成票(94.46%准确率)、规程检索问答(RAG召回率58.7%)[77][91][94] - 市场仿真:多代理模型实现碳市场均衡分析,量化价格弹性系数(煤炭企业7,278吨/元)[113][115][120] - 机理研究:AI4S框架处理10万节点电网建模,年算例超10亿,推动动态建模与稳定性分析[125] 技术融合路径 - 模型融合:推理大模型+PINN+因果模型+符号模型,保留准确性同时提升计算速度[54][56][58] - 人机协同:必要场景引入人工反馈,作为最终决策质量判定者[56][59] - CPSSE仿真:结合真人、因果模型和大语言模型,构建数字孪生系统[62] - 范式演进:从参数学习(机器学习)→提示工程(大模型)→机制工程(智能体)的能力获取转变[40]