项目概述 - Andrej Karpathy发布名为nanochat的极简全栈项目，旨在从零开始构建简易版ChatGPT [1] - 项目核心目标是以约100美元成本在8×H100 GPU上训练4小时，复刻基础对话功能的模型 [4] - 整个代码库约8000行，基于Rust语言实现，包含训练分词器、预训练、中期训练、指令微调等完整流程 [4][5] 技术架构与流程 - 采用Transformer架构，在FineWeb-EDU数据集上预训练，使用自定义分词器（词汇量65,536）实现约4.8的文本压缩比 [5][25][26] - 训练流程分为预训练（BASE）、中期训练（MID）、监督微调（SFT）和强化学习（RL）四个阶段 [5][45][48][51] - 推理引擎支持KV缓存、预填充/解码流程及工具使用（如Python解释器），提供CLI和类ChatGPT的WebUI交互界面 [5][43] 性能表现 - 预训练模型CORE指标达0.2219，超越GPT-2 large（0.21）但略低于GPT-2 xl（0.26） [7][41] - 经过中期训练和监督微调后，模型在多项基准测试中提升：ARC-Easy从0.3561升至0.3876，GSM8K从0.0250升至0.0455 [7][56] - 强化学习阶段针对GSM8K数学题优化，性能进一步提升至0.0758，总训练耗时3小时51分钟，成本约92.4美元 [7][53][56][57] 可扩展性与社区影响 - 项目设计为可调优框架，用户可通过修改深度参数（如depth=30）探索更大模型，预期在MMLU和ARC-Easy分别达40多分和70多分 [10][61] - 代码库强调易读性和可修改性，已获GitHub 4.8k星关注，被社区评价为“可被理解的智慧” [11][13][14] - nanochat将作为Karpathy教育项目LLM101n课程的压轴内容，推动AI教育普及 [12][75]

对话一：语言对于智能到底意味着什么？ - 语言模型在智能构建中扮演核心角色，其成功源于对语言在智能中核心作用的认知，ChatGPT和Transformer的成功均得益于此[6][9] - 语言具备时间维度，总是在生成下一个词，而序列模型（如Transformer）可处理包括语言、蛋白质、音频在内的各种序列，时间序列是表达智能的重要组成部分[7] - 语言训练具有实践优势，互联网上海量的语言数据使得训练非常方便且成本远低于视频训练[9] - 语言模型确实会形成独立于语言的抽象概念，例如在解决数学问题时，尽管用不同语言生成答案，但解题方式和错误类型相同，表明模型在抽象空间进行思考[10] - 然而，未经过大量多模态数据训练的模型，其概念（如"痛苦"或"爱"）可能与人类植根于物理世界的真实感受有所不同[11] 对话二：多模态与世界模型的挑战 - 现代大语言模型（如GPT-4）已是多模态模型，能接收和生成图像、音频，并已取得巨大进展，例如ChatGPT的语音模式可以对话、唱歌[12] - 当前多模态处理方式（如通过VQ-VAE将图像/音频编码为特殊代码）有效但不令人满意，未来需要更深入地将多模态融合到模型中，使编码更具可训练性并与语言有更多交互[13] - 语言对于为视觉对象赋予语义含义至关重要，否定语言价值的视觉派研究可能重蹈ChatGPT发布前的错误路线[14] - 现代大语言模型在某种程度上已是世界模型，在文本和数学方面表现卓越，但作为物理模型的表现不如语言模型，部分原因是视频训练数据不足、质量不佳及当前架构限制[14] - 通过改进架构、损失函数并增加更好更多的数据，结合像Sora、Genie和Veo这类从视频学习的模型，正在弥合"世界模型"与"语言模型"之间的差距[15] 对话三：AI编程：自然语言是终极目标，还是新的"巴别塔"？ - Transformer架构的创造者在早期就已预见其在自动化编程方面的应用潜力[17] - 未来语言模型将能覆盖大量编程工作，但数学符号和编程语言作为沟通工具，在解释复杂概念时比纯自然语言更高效，因此专业程序员仍需掌握这些概念以实现与模型的快速、高效沟通[18] - 编程的重点在于沟通和抽象，而非特定语言，AI有望帮助更好地使用现有编程语言来改进系统，而非必然需要创造新的为AI设计的编程语言[19] - 新的编程语言需求将来自新的计算硬件架构，而非AI编程本身[20] 对话四：Agent的泛化困境：是方法问题，还是根本限制？ - 所谓的"智能体模型"通常指在其推理过程中能调用外部工具（如代码解释器、网络搜索）的推理模型，这些模型使用强化学习训练且效果良好[21] - Agent泛化问题的主要挑战在于缺乏学习信号，当模型使用未经训练的工具时，没有像强化学习训练那样的反馈机制来检查答案正确性[22] - 要实现出色的多智能体系统，需要能够模拟整个环境进行训练，而这在当前难以实现，但即使没有大量训练，聪明的模型也能零样本完成许多任务[23] 对话五：算力与算法：Scaling Law是信仰还是路径依赖？ - 预训练的Scaling Law已带来巨大进展，但存在经济上的实践极限，因为用户不愿为每个token支付过高费用，且大模型可被蒸馏成更小模型[25] - 预训练的Scaling Law在解决某些问题（如GSM-8K数学数据集）时速度不可行，而强化学习推理能用小模型解决相同问题，显示出更高的数据效率[26] - 推理模型的Scaling Law（通过强化学习让模型运行更长时间以提升性能）受限于Transformer的上下文长度设计以及强化学习在长序列推理中的信用分配问题[27] - 推理的Scaling Law与预训练的Scaling Law有不同限制，这呼唤新的研究和可能的架构或强化学习算法改进[28] 对话六：具身智能的挑战：是数据问题？还是比特和原子的根本性差异？ - 具身智能可能更接近于当前的大语言模型，数据效率正在提高，例如推理模型能用极少样本学会困难任务[29] - 实现具身智能需要一个在大量视频上预训练好的多模态模型作为基础，再结合强化学习进行推理训练，但需要调整架构以适应现实世界行动的速度要求[30] - 第一个版本的具身智能模型可能基于现有成果调整，但未来会出现数据和计算更高效的新一代模型[31] 对话七：强化学习：是超级优化器，还是科学发现的引擎？ - 由强化学习驱动的推理模型可被视为一种数据效率更高的新架构或范式，能够从有限数据（如1000道数学题）中学习[32][33] - 强化学习只依赖一个奖励信号，若优化得当，模型有望从研究论文中学习并提出连专业人员都觉得新颖的想法，推动科学发现[33] - 该范式仍处于早期阶段（社区广泛关注约一年），需要更多尝试、发现和改进以提升效率和应用范围[34] 对话八：AI的组织跃迁：如何实现大规模Agent协作？ - 实现大规模Agent组织（如成千上万个Agent协作）的最大挑战在于开发下一代推理模型，需要类似Transformer之于RNN的架构创新[35] - 当前推理模型顺序生成token的方式缺乏并行性，未来需要为并行过程提供更多信号，并结合新的架构来融入并行处理[36] 对话九：AI记忆的瓶颈：模型离真正的"原生记忆"还有多远？ - 通过将记忆作为工具（如访问互联网或记忆库）并结合强化学习训练，模型可以有效地解决记忆问题，当前方案已相当可行[37][38] - 未来可能出现更优雅的记忆机制，如将记忆转化为连续的向量或通过类似LoRA的适配器微调模型权重，但这仍是待研究的问题[40] 对话十：大模型如何摆脱瞬时学习，而像人类一样持续学习？ - 利用上下文学习作为持续学习的记忆是当前已实现的进展，模型将对话信息放入上下文进行处理，但效率并非最高[39] - 通过记忆工具和像LoRA这样的适配器微调技术，实质性修改权重已变得更加可行，为持续学习提供了基础，但如何优化算法仍是研究重点[40] - 下一代推理架构有望实现更并行的处理，推动模型在科学发现等领域的应用，未来并不遥远[41]

后训练技术演进与产业共识 - 后训练被视为AI落地产业的必经之路，旨在将通用基座模型转化为深度理解企业业务、具备领域知识并能执行复杂策略的专属智能引擎[1] - 技术路径从监督微调（SFT）进化至以目标为导向的强化学习（RL）范式，并从依赖人力的RLHF发展到追求自动化的RLVR和前沿的自然语言奖励[2][3][4] - 后训练的核心价值在于通过对模型的特定能力增强，解决商业世界的复杂任务，构建通用模型无法达到的竞争壁垒[4] 企业后训练四步落地路径 - 企业后训练落地遵循一条清晰链路：准备高质量数据（Data）、选择合适的基座模型（Model）、设计有效的奖励机制（Reward）、构建可量化的模型评测（Evaluation）并与业务指标挂钩[8] 第一步：准备高质量数据 - 数据质量是后训练效果的上限，企业超过一半甚至60%-70%的时间都花费在数据准备上[10] - 知乎通过大模型预打标和主动学习提升数据质量，汽车之家利用20年积累的结构化私域数据进行增量预训练，百融云创则建立工业化数据生产线，通过模型自动过滤、校正文本并合成数据来提纯话术[10][11][13] 第二步：选择合适的基座模型 - 选对基座模型是后训练成功的一半，多家企业选择通义千问系列模型，因其模型效果领先、尺寸覆盖广泛且开源生态对后训练深度支持[15] - 通义千问衍生模型数量已突破17万，全球下载量超过6亿，在HuggingFace社区2024年全球模型下载量中占比超30%[16] - 为平衡效果与成本，微博和网易伏羲采用模型蒸馏方案，将大模型能力迁移至更轻量的模型上，微博蒸馏至7B模型，实现了接近大模型的效果但成本更低[19][21] 第三步：设计奖励机制 - 奖励机制的核心是将复杂的商业目标和人类偏好转化为模型可学习的数值信号，技术从RLHF经RLVR演进至利用大模型本身作为评判者的自然语言奖励[24][25] - 盈米基金与阿里云合作，将人类投顾专家的解题框架和风控逻辑内置到模型中探索奖励函数，汽车之家则通过A/B测试关注用户最终转化率等核心业务指标[26] 第四步：构建评估体系 - 模型评估需用客观、可量化的结果证明技术投入的商业价值，盈米基金构建了覆盖600个典型场景的基金投顾领域评测基准[27][28] - 通过精心设计的奖励机制，盈米基金的4B参数垂直模型在准确性指标上超过通用32B参数模型，百融云创使模型回答质量分提升10%，业务违规率从1%降至千分之三[28] 企业后训练实践与商业价值 - 夸克通过后训练复刻专家思维，2025年为高考志愿填报场景生成超1200万份报告，服务4000万用户，实现专家级服务的规模化普惠[30] - 在游戏智能NPC领域，后训练使NPC具备多维度决策能力，如《新倩女幽魂》中的家臣系统能基于薪资、关系亲疏等动态调整行为[32] - 后训练创造的商业价值在金融、内容社区、汽车、AI搜索等领域集中爆发，成为企业真正的护城河[32]

机器之心报道 编辑：张倩、泽南 然而，在许多环境中，基于经验数据使用强化学习来训练智能体仍然面临挑战。一方面，这些环境往往缺乏可验证或密集的奖励信号 —— 尤其是在开放式场景中 （例如网页环境通常不会返回明确的任务反馈）；另一方面，智能体可能需要在长时间跨度内进行低效的探索与泛化，例如跨多轮的工具使用或复杂交互流程。 目前大多数语言智能体采用监督微调（SFT）从专家示范中学习，以避免依赖奖励信号。虽然这种方法训练高效，但缺乏环境交互，无法从失败中学习或主动探 索，同时对高质量专家数据依赖强、成本高、泛化性有限。因此，一个关键问题浮出水面： 如何让智能体在没有外部奖励的情况下，从自身经验中学习成长？ 上周末，一篇来自 META 超级智能实验室（MSL）、FAIR、俄亥俄州立大学的研究为该问题提供了一种解法。 他们创新性地尝试使用一种介于模仿学习与强化学习之间的中间范式来解决上述问题，它被称为「早期经验」：智能体不仅从人工整理的数据中学习，还从自身 在环境中执行动作后产生的未来状态中学习。这些未来状态代表着智能体的「自身经验」，可以被转化为监督信号，使其能 够直接从行动后果中成 长，而无需依 赖外部奖励。 在这个 ...

多巴胺驱动的伪忙碌行为 - 创业者常将凌晨工作、喝咖啡、频繁刷数据等行为视为抓住机会的必要动作，但这些行为本质是多巴胺驱动的无效消耗[1] - 将靠外界刺激提神误认为抗压能力强，例如用重油重糖夜宵缓解疲惫或喝第三杯冰美式维持清醒[2] - 工作中存在即时反馈依赖，如每15分钟刷新用户数据看到日活上涨0.5%就认为业务在前进，或过度关注行业群消息以保持敏感度[2] 自然奖励与代理奖励的机制 - 强化学习和行为驱动的核心动力源于身体内部无意识的生理反馈，即内感受，而非仅来自外部感官刺激[5] - 自然奖励是行为改善身体内部状态的结果，如进食后血糖回升；代理奖励是外部线索，如食物香气，仅预示自然奖励即将到来[5] - 创业者误读高效信号的原因是将外部即时反馈当作自然奖励，忽视了解决用户痛点、改善业务状态等真正的自然奖励[6] 用自然奖励替代代理奖励的实践方法 - 早餐时用杂粮粥、鸡蛋等慢消化食物提供稳定能量，替代咖啡因代偿，感受胃里踏实不胀气的内感受信号[8] - 通勤时将刷碎片化资讯改为听深度行业音频课程并记录1个可落地点，或阅读后写3句话读后感，以获取真实收获的自然奖励[9] - 休息时通过察觉身体疲劳信号，如眼皮沉、肩膀紧，进行小憩或拉伸活动，替代刷手机带来的虚假放松感[10] 将内感受训练植入工作场景 - 工作中开会时不刷工作群，专注听团队问题反馈；分析数据时不纠结日活微小波动，聚焦数据异常背后的用户行为原因[12] - 项目复盘时不罗列做了多少事，而是聚焦解决了哪些业务痛点、避免了什么风险，让复盘真正推动后续优化[12] - 在碎片化时间植入微动作，如开会前感受身体接触椅子的触感，签批文件时感受笔尖压力，以保持对当下的觉察[13]

作者 | sunnyzhao 编辑 | 大模型之心Tech 1，planing阶段带来了巨大的耗时，当tool变多后，turbo系列模型的准确率堪忧，因此不得不使用旗舰模型，这让延时进一步增 加。 2，planing的质量不够高，原来的task bot做任务所使用的workflow是人工决定的，现在改成了模型自助决定，从目前的测试来 看，由模型构建的复杂工作流的可用率远远不及人类水平。简单工作流使用判别式小模型反而性能更好。 3，reflection是一种时间换准确度的策略，然而这个策略非常容易重复进行自我内耗，和死循环。 这几个问题，确实是目前AI Agent技术的通病。如果把Agent当成"LLM+工具调用"的简单组合，没有认真处理工程细节，实际的 效果也确实未必比工作流编排就更好。主要结合看到一些论文，和一点实际经验，按题主说到的三点谈一下自己的看法。 本文只做学术分享，如有侵权，联系删文 ，自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询 Planning慢的本质原因 原文链接： https://www.zhihu.com/question/657739588/ ...

行业趋势与竞争格局 - 智能辅助驾驶行业呈现冰火两重天局面，L2+功能从高端车型专属标签向中低端市场普及，实现“平权” [2] - 技术路线加速收敛，端到端与多模态大模型成为新赛点，行业进入强算法时代 [2][6][15] - 2021年特斯拉FSD V9.0采用BEV+Transformer架构是行业分水岭，推动感知模块大模型化 [4][5] - 行业竞争地图形成多股力量：特斯拉式垂直整合、Mobileye等芯片商、Momenta等算法提供商、以及AI 1.0创业者 [9] - 智能辅助驾驶软件价值占整车比重持续提高，未来有望超过4成 [6] - 头部阵营雏形显现，平台型玩家通过整合产业资源驱动行业范式变迁 [9][18] 核心技术演进 - 端到端架构结合视觉语言模型（VLM）成为主流方案，通过单一神经网络将传感器数据直接转化为车辆控制指令 [12] - 多模态大模型+强化学习是未来核心竞争力，提高系统感知理解能力和驾驶博弈能力，学会举一反三 [20][21][22] - 相比模块化架构，端到端模型代码量大幅节省，但存在黑箱问题，VLM提供了可解释性 [12] - 高质量模型训练依赖云端预训练、车端高质量数据投喂、仿真微调及OTA更新的闭环 [15] - 强化学习是训练高质量模型的“教练”，通过设置奖励函数让AI在虚拟场景中自我进化 [15] - 千里科技RLM大模型采用一段式端到端架构，拥有更高“含模量”，驾驶体验更拟人丝滑 [21] 千里科技的战略与布局 - 公司定位为具有深厚制造业基因的世界级科技公司，目标是成为平台级AI公司，为行业提供规模化智能解决方案 [18][21] - 战略核心是“AI+车”，已完成智能辅助驾驶、智能座舱、智能出行三大领域的多点布局 [11][25] - 公司联合阶跃星辰和吉利汽车组建合作联盟，共同研发千里智驾RLM大模型 [17] - 公司与吉利合作拥有百万级保有量的L2+车型数据，联盟云端算力储备超过23 EFLOPS，在国内车企中排名第一 [25] - 公司获得奔驰13亿元投资，汽车智能化朋友圈不断扩大 [18] - 推出“千里计划”（AFARI Plan），以“One Brain, One OS, One Agent”为核心愿景，构建大模型驱动的AI大脑和操作系统 [27] 产品与技术优势 - RLM大模型具备防御性驾驶能力，基于多传感器感知和动态场景推演，能对视野盲区进行预防性判断 [24] - 推出不依赖高精地图的全场景门到门模式，通过实时道路生成与理解实现无感畅通驾驶 [24] - 算法、算力和数据三要素协同是核心竞争力，公司在数据规模和算力储备上具备优势 [24][25] - 在智能出行领域，计划未来18个月在10座城市落地规模化Robotaxi运营，单一城市部署超1000辆 [27] - 基于多模态大模型底座整合通用知识与智驾垂域数据，RLM大模型能实现通用感知理解 [22]

文章核心观点 - 公司提出TIGeR框架 旨在解决当前视觉语言模型在机器人操作中缺乏精确几何量化能力的关键痛点 通过工具调用和强化学习使AI模型能从定性感知转向定量计算 [2] - TIGeR框架的技术路线具有前瞻性 与最新发布的Gemini Robotics 1.5所强调的Agentic Tool Use方向一致 [3] - 在多项空间理解基准测试中 TIGeR的表现超越了包括Gemini-2.5-Pro和GPT-4o在内的主流模型 并在真机测试中完成了其他模型无法胜任的高精度操作任务 [11][16] TIGeR框架的技术优势 - 实现精确定位 通过集成深度信息和相机参数 能将如“上方10厘米”的指令精确转换为三维坐标 达到普通视觉语言模型无法实现的操作精度 [7] - 支持多视角统一推理 在多镜头场景下可将各视角信息合并 并在统一的世界坐标系中进行场景构建和推理 [7] - 具备透明可解释性 模型的每一步推理过程清晰可见 包括工具调用 参数输入和结果输出 便于调试优化并增强操作可信度 [7] TIGeR的训练方法与数据 - 采用两阶段训练流程 第一阶段通过监督学习使用大规模数据集教授基础工具使用方法和推理链 第二阶段通过创新的分层奖励机制进行强化学习 精细打磨模型使用工具的准确性和过程完美度 [8] - 为训练构建了TIGeR-300K大规模高质量数据集 包含30万个样本 覆盖各类核心任务 其构建结合了模板化生成以保证规模和基础问题解决能力 以及利用大模型改写以增强泛化性和应对真实世界复杂指令 [10][13] 性能表现与基准测试 - 在CV-Bench基准的2D-Rel 3D-Depth 3D-Dist任务上分别达到93.85% 96.33% 95.17%的准确率 均超过对比模型 [10][14] - 在BLINK基准的Depth和Spatial任务上分别达到91.94%和86.01%的准确率 [10][14] - 在RoboSpatial基准的M.V. Conf. Comp. Cont.任务上分别达到60.15% 82.11% 82.86% 32.79%的准确率 在EmbSpatial和Q-Spatial++任务上分别达到80.82%和70.30%的准确率 [10][14]

研究内容与方向 - 实验室聚焦人工智能控制理论、具身智能控制及强化学习控制等核心研究方向[11] - 致力于深度融合控制论、人工智能、机器人学、高性能计算及大数据等基础科学[13] - 开展人工智能与智能系统领域的基础理论与原创性研究[13] 任职要求与候选人背景 - 博士后需已获得或即将获得控制科学与工程、人工智能、机器人、计算机科学等相关专业博士学位[2] - 博士研究生需已获得或即将获得计算机科学、数据科学、自动化等相关专业硕士学位或优秀学士学位[3] - 硕士研究生需已获得或即将获得计算机科学、数据科学、自动化等相关专业本科学位[5] - 候选人需对控制理论、人工智能、机器人学有浓厚科研兴趣并具备扎实数学和编程基础[4] 通用技能与加分项 - 熟悉CLIP、BLIP、LLaVA等多模态大模型及其应用[6] - 熟悉VAE、Transformer、BERT等经典模型并具备实现与调试能力[7] - 具备出色算法设计与编程能力，熟悉Linux，掌握C++/Rust等高性能语言者更佳[8] - 了解LLaMA、Qwen等大语言模型架构，具有无监督预训练、SFT、RLHF等实践经验者优先[9] - 曾在IJRR、ICRA、IROS、RSS等机器人顶会或ICML、NeurIPS、ICLR等AI顶会发表论文者优先[12] - 拥有顶尖竞赛经历或知名企业核心AI项目主导经验者优先[12] 导师与实验室资源 - 实验室导师冀晓强教授为香港中文大学（深圳）理工学院助理教授，主持多项国家级及省市级科研项目[13] - 实验室在IEEE Transactions on Automatic Control、Automatica等顶尖期刊及会议发表论文五十余篇[13] - 实验室提供国际化科研氛围、丰富算力资源及行业合作机会[2] 福利待遇 - 博士后可获得省市生活补助每人每年税前21万元，总额不超过42万元，大学另提供每人每年5万元专项补贴[14] - 博士后符合条件者可申请广东省海外博士后人才支持项目，享受在站补贴税前60万元/2年，出站留粤补贴税前40万元/3年[14] - 博士后可申请各级科研课题资助，出站后深圳市给予30万元科研或创业资助[14] - 博士生可获全奖/半奖，学费全覆盖并额外提供生活津贴，优秀者可申请校长奖学金税后18万/年[15] - 研究型硕士优秀者可额外提供生活津贴，毕业后有转PhD机会[16] 申请流程 - 申请材料需包括个人完整中英文简历、已发表代表作论文及其他证明个人科研能力的材料[19] - 申请邮件需以“姓名-当前所在单位/机构-博士后/博士/研究型硕士申请”为题发送至指定邮箱[17]

算法核心创新 - 腾讯优图实验室开源强化学习算法SPEAR，通过“自我模仿+渐进探索”实现熵稳定的学习过程 [2][3] - 算法核心是让大语言模型驱动的智能体在无需大量专家示范的情况下自学成才，解决了传统自我模仿学习中的“熵塌缩”和“熵爆炸”问题 [3][8][9] - 采用“课程式调度”实现分阶段探索，前期用内在奖励鼓励探索，后期启动自模仿学习回放高回报轨迹 [15][16] 性能提升表现 - 在ALFWorld家务模拟任务中成功率高达88.9%，创下该任务当前最优水平 [21] - 在WebShop网页购物测评中，1.5B模型成功率从56.8%提升至77.5%，提升20.7个百分点，训练时间仅增加5% [21][22] - 在AIME25奥赛数学任务上，Qwen2.5-32B模型成绩从54.0%提升到60.1%，仅用16K上下文就追平32K推理效果 [13][26] - 在Sokoban视觉推箱子任务中取得86.7%的成功率，较此前最佳性能提升19.6个百分点 [28][29] 技术实现特点 - 设计内在奖励实现工具奖励衰减，前200步鼓励工具调用，之后奖励置零让位给最终答案准确率 [12][18] - 提出优势重校准机制，用动态中位数基线淘汰过时操作，减小off-policy偏差 [16] - 兼容GRPO/GiGPO等骨干方法，可零成本接入现有训练流程 [24][31] 应用场景广度 - 算法通吃文本、代码、视觉多模态任务，在ALFWorld、WebShop、AIME、Sokoban等基准上平均提升16%以上 [3][21][26][28] - 在工业级增强基线Dr.BoT基础上进一步优化，在GRPO和GiGPO框架下均实现显著提升 [19][25] - 1.5B模型1小时上手，32B模型一周出模，具备高效训练特性 [32]