上下文工程的定义与本质 - 上下文工程被定义为设计和优化上下文的收集、管理、使用，以提升机器理解和任务表现的努力 [4] - 其本质是通过建立更丰富有效的上下文，弥合人类高熵表达与机器低熵理解之间的认知鸿沟，达成系统性的熵减过程 [3] - 该学科并非全新概念，在AI技术出现前已发展超过20年，目前处于上下文工程2.0时代 [5] 上下文工程的发展阶段 - 1.0时代 (1990年代-2020年)：核心是翻译，通过图形界面和编程语言将人类自然语言意图工程化为机器可理解的交互流程 [7] - 2.0时代 (2020年至今)：随着GPT-3发布，用户可直接用自然语言对话，但熵减需求转移至用户身上，催生了提示词工程 [11][13] - 2.0时代典型系统包括ChatGPT、LangChain、AutoGPT，核心机制为提示工程、RAG、CoT、记忆代理，上下文容忍度和类人程度相对更高 [12] AI与人沟通的理解差距根源 - AI感官残缺，仅能获得用户明确输入，无法像人类一样接收文字外的大量环境信息 [14] - AI理解能力有限，难以处理和整合复杂逻辑及图像中的关系信息 [14] - AI存在记忆缺失，Transformer架构有长上下文性能瓶颈，缺乏长期记忆系统，难以捕捉长距离依赖关系 [14] - AI注意力涣散，面对海量信息时存在“上下文选择困难”，不知该关注何处 [14][15] 上下文工程的核心构件 - 构件一：上下文收集与记忆系统：通过多模态融合和分布式收集修复感官残缺，通过分层内存架构解决记忆缺失 [16][18][21] - 构件二：上下文管理：通过上下文抽象实现“自我烘焙”，将高熵上下文预处理为AI能理解的低熵结构，方法包括自然语言摘要、模式化提取、在线蒸馏 [23][24] - 构件三：上下文使用：构建高效上下文选择机制，通过理解逻辑依赖、平衡新近度与频率、主动需求推断来解决注意力涣散问题 [25][26] 上下文工程的未来演进 - 3.0时代：机器智能达到人类水平，能处理情绪等复杂上下文，主动理解场景并与人类协作，但长期记忆问题仍未完全解决 [30] - 4.0时代：机器智能达到“超人智能”，人机交流的熵被彻底消除，上下文工程本身将消失或融入核心架构 [30][31] - 当前的技术如工具使用能力正从外挂演变为标准协议并融入模型核心，遵循脚手架最终融入基础架构的普遍技术发展模式 [32][33][34]