端到端自动驾驶技术趋势 - 端到端算法是当前自动驾驶量产的核心算法，技术栈丰富，业内主要存在一段式和两段式两大类范式 [1] - 一段式范式以UniAD为代表，直接从传感器输入建模自车轨迹输出，而二段式则基于感知结果进一步输出自车和他车轨迹 [1] - 一段式端到端算法可进一步延伸出基于感知、扩散模型、世界模型以及视觉语言模型（VLA）等多种子领域，尤其是基于VLA的算法相关论文正爆发式发表，工业界也在争先量产 [1] 自动驾驶VLA与大模型技术 - 核心算法涉及BEV感知、视觉语言模型（VLM）、扩散模型、强化学习、世界模型等，代表了学术界和工业界最前沿的技术方向 [3] - 自动驾驶VLA与大模型实战课程聚焦VLA领域，内容涵盖从VLM作为自动驾驶解释器，到模块化VLA、一体化VLA，以及当前主流的推理增强VLA [3] - 课程配套理论基础梳理，包括Vision/Language/Action三大模块、强化学习、扩散模型等，并设有大作业章节指导从零搭建VLA模型及数据集 [3] 课程师资与团队 - 课程教师团队包括来自清华大学等顶尖院校的研究人员，在ICCV、IROS、EMNLP等国际顶级会议发表多篇论文，研究方向涵盖多模态感知、自动驾驶VLA、大模型Agent等前沿领域 [8][11] - 教师团队具备丰富的自动驾驶、大模型研发和实战经验，例如有教师主持完成多项自动驾驶感知和大模型框架工具，其维护的开源项目总Star数超过2k [8] - 工业界教师团队包括来自国内顶级主机厂的算法专家，拥有CCF-A/B论文发表记录，并主持完成多项自动驾驶感知和端到端算法的产品量产交付，具备丰富的端到端算法研发经验 [12][14] 端到端自动驾驶课程内容 - 端到端与VLA自动驾驶课程由工业界专家带队，聚焦端到端自动驾驶宏观领域，梳理一段式/两段式方向的重点算法和理论基础 [12] - 课程详细讲解BEV感知、大语言模型、扩散模型和强化学习等关键技术 [12] - 课程设计两大实战项目：基于扩散模型的Diffusion Planner和基于VLA的ORION算法 [12] 课程参与要求 - 参与者需要自备GPU，推荐算力在RTX 4090及以上 [15] - 参与者需具备一定的自动驾驶领域基础，熟悉自动驾驶基本模块，并了解transformer大模型、强化学习、BEV感知等技术的基本概念 [17] - 参与者需具备一定的概率论和线性代数基础，熟悉常用数学运算，并具备一定的Python和PyTorch语言基础 [17]

自动驾驶VLA行业趋势 - 自动驾驶VLA是学术界和工业界在端到端之后聚焦的核心方向，提供了类人思考能力并通过思维链形式展现决策过程，以实现更可靠和安全的自动驾驶[1] - 行业将自动驾驶VLA划分为三个子领域：模块化VLA、一体化VLA和推理增强VLA[1] - 传统的BEV感知、车道线、Occupancy等方向相对成熟，学术界和工业界关注度逐渐下降，自动驾驶VLA成为各家企业急需攻克的方案[4] - 主流自动驾驶企业，包括智驾方案供应商和车企，均在发力自研自动驾驶VLA[4] 自动驾驶VLA技术核心 - 自动驾驶VLA涉及视觉感知、大语言模型、Action建模、大模型部署、数据集制作等核心内容[6] - 最前沿算法包括CoT、MoE、RAG、强化学习[6] - 模块化VLA强调多阶段pipeline（感知→语言→规划→控制），语言模型为规划决策提供信息[16] - 一体化VLA直接连接动作解码器，实现感知→控制的端到端映射，通过单次前向传播将传感器输入映射为控制动作[16] - 推理增强VLA新增推理模块（如Chain-of-Thought、记忆体、工具调用），同步输出控制信号和自然语言解释，支持长时序规划和因果解释[17] 课程内容与结构 - 课程第一章介绍VLA算法概念、发展历史、开源BenchMark和常见评测指标[12][13] - 第二章讲解VLA算法基础，涵盖Vision、Language、Action三个模块基础知识及大模型结合，并以Qwen 2.5VL-72为例讲解开源大模型部署[14] - 第三章讲解VLM作为自动驾驶解释器的经典及最新算法，包括DriveGPT4、TS-VLM、DynRsl-VLM、SENNA，重点分析算法动机、网络结构和核心[15] - 第四章聚焦模块化与一体化VLA，配套实战代码学习选取华科和小米最新提出的ReCogDrive，涵盖预训练、模仿学习、强化学习GRPO、扩散模型轨迹输出等技术栈[16] - 第五章聚焦推理增强VLA，讲解ORION、OpenDriveVLA、DriveMoE、DiffVLA、S4-Driver、FutureSightDrive、AutoVLA、Drive-R1等算法，并配套清华AIR和博世提出的Impromptu VLA实战代码[17][18][19][23] - 第六章设置大作业，要求学员基于ms-swift框架自定义数据集和加载模型，进行训练任务微调，并提供V-L-A各部分代码解读[20] 行业人才培养 - 课程由清华大学教研团队联合开展，旨在推动自动驾驶VLA在学术界和工业界的发展[6][22] - 讲师团队包括在ICCV/IROS/EMNLP/Nature Communications等顶级会议发表论文的清华大学硕士生、QS30高校博士在读研究员，具备丰富的自动驾驶、大模型研发和实战经验[8][9] - 学员需自备GPU，推荐算力在4090及以上，并具备自动驾驶领域基础、transformer大模型、强化学习、BEV感知等技术概念，以及概率论、线性代数、Python和PyTorch基础[24] - 课程为国内首个自动驾驶VLA进阶实战教程，预计两个半月结课，采用离线视频教学配合VIP群内答疑及三次线上答疑的模式[22][23]

核心技术方法 - 采用结合采样与学习的动态全身操作方法，将强化学习与基于采样的控制相结合，使机器人能够执行需要手臂、双腿和躯干协同配合的动态力交互任务[1] - 研究采用分层控制方法，将控制问题划分为两个互补且同步的层级：低层基于强化学习的运动策略直接控制电机力矩，高层根据任务类型采用基于采样的控制或强化学习[2] - 在采样控制中，系统通过并行模拟多个未来情境来寻找最优操作策略，对于需要精确施力的任务会运行32个并行CPU线程，每个线程模拟未来几秒内的不同动作序列[3] - 与直接采样原始轨迹不同，研究在样条曲线空间中进行采样，能生成更平滑、更自然的运动轨迹，同时降低搜索空间的维度[5] 任务执行表现 - 机器狗Spot在轮胎扶正任务中最佳成绩为3.7秒，平均每个轮胎用时5.9秒，几乎达到人类在该任务中的操作速度[11] - 机器狗能够高效搬运重达15千克的轮胎，远超其夹持器的峰值举升能力（11千克）和持续能力（5千克），通过动态协调全身动作拓展了操作范围[13] - 在轮胎滚动任务中，利用强化学习来应对难以精确建模的复杂摩擦与接触动力学，使机器人能够动态调整躯干与手臂位置以稳定控制滚动的轮胎[7][10] 技术优势与创新 - 该方法克服了传统操作策略在不同机器人形态学结构上的迁移限制，实现了机器狗四肢与全身的协调动力学操作[1] - 系统未预设任何固定的操作模式，多肢体、多接触的行为是在采样过程中优化自然涌现的结果，而非通过显式编程设定[5] - 分层控制架构使得高层控制器能够专注于任务完成，无需显式地推理平衡约束或地面接触，显著简化了控制问题[14][15] - 训练过程中引入了随机化，包括对物体的质量、摩擦系数与形状等属性进行随机变化，以解决从仿真到现实的差距[10]

大语言模型的技术路径争议 - 强化学习之父Rich Sutton认为大语言模型是死胡同，不符合《苦涩的教训》精神，因其无法从持续实际互动中学习[1][3] - Sutton主张智能应来自强化学习与环境的持续交互，奖励函数包含内在动机如好奇心，学习应是默认持续过程而非一次性训练[3] - 当前大语言模型依赖大规模预训练和人为监督微调，Sutton指出监督微调在自然界不存在，预训练方法被人类偏见污染[3] 强化学习实现的根本挑战 - 纯粹强化学习极难实现，因无法定义通用奖励函数，实践常退回模仿学习[7] - 理想系统应像松鼠被置于新环境后自主学习，而当前系统无法在未见过的场景中学习新事物[8] - 强化学习应是利用与探索的结合，但当前模型设计走向极端，仅在有限经验基础上进行纯粹利用[11] 大语言模型的设计缺陷与数据问题 - 模型依赖写作数据而非思维模式数据，但写作时的思考方式与现实世界不同，导致数据采样分布偏差[12] - 自回归机制更像神经网络的顺序展开路径，而非可随时间微调的目标函数，限制真正理解能力[11] - 模型缺乏强制探索行动与结果关系的机制，难以构建良好世界模型，仅在明确行动空间如围棋中表现较好[20] 技术路径的可行性质疑 - Sutton指出大语言模型的极端主张缺乏非凡证据，仅通过观察人类行为样本难以涌现真正推理能力[23] - 大语言模型可能无法兑现宏伟愿景，若15年内未实现价值，考虑到数百上千亿美元投入，可能引发市场崩溃或泡沫破裂[23] - 模型过度依赖人类知识和互联网数据，存在可扩展性边界，终将陷入过度依赖专家微调的困境[24] 行业发展的路径依赖与重构需求 - 行业陷入修补式迭代恶性循环，工程师优先修复而非系统重构，导致系统日益脆弱和过拟合[28] - 当模型遇到瓶颈时，市场商业化浪潮绑架既定路径，直到集体意识必须重构新系统[28] - 大语言模型领域已显现转变，从单纯依赖算力扩展正转向更注重推理能力的方法链和强化学习环境探索[28] 模型实际能力与公众期望的错位 - 需要区分模型被认为能做的事和实际能做的事，公众推断可能误导，但模型现有能力本身具有难以置信的价值和用途[32][33] - 纯粹模仿已产生非凡特性和涌现能力，这是重要学术问题，尽管不会达到真正智能，仍能找到很好用途[34] - 公共讨论应聚焦已发生的奇迹，而非过度期待智能水平，类似互联网泡沫期某些公司的期望过头现象[33][34]

文章核心观点 - 腾讯优图团队提出一种名为“无训练组相对策略优化”的新方法，该方法无需调整大语言模型参数，仅通过在提示词中学习简短经验即可显著提升模型性能 [1][2] - 该方法成本效益极高，在671B大型模型上应用仅需约18美元，远低于传统微调方法超过10000美元的成本 [5][28] - 实验证明该方法在数学推理和网页搜索任务上能实现显著的跨领域性能提升，例如将DeepSeek-V3.1-Terminus模型在AIME25上的得分从67.9%提升至73.3% [4][27][28] 技术原理与方法 - 该方法保持模型参数永久冻结，转而维护一个外部经验知识库，通过动态更新知识库而非模型参数来实现性能优化 [14] - 核心流程包括生成分析摘要、提取自然语言经验、以及通过添加、删除、修改或保留操作来更新经验库 [18][19][24] - 该方法通过改变上下文而非模型参数本身，将模型引向高奖励输出，被冻结的基础模型起到了强先验作用，保证输出的连贯性和稳定性 [22] 数学推理任务性能 - 在AIME24和AIME25基准测试中，应用Training-Free GRPO的DeepSeek-V3.1-Terminus模型得分分别从80.0%提升至82.7%，从67.9%提升至73.3% [27][28] - 该方法仅使用100个跨域训练样本且无需梯度更新，成本约18美元，而传统强化学习方法需要数千个训练样本，成本超过10000美元 [28] - 随着每一步学习，模型表现持续提升，平均工具调用次数下降，表明模型学会了更高效地使用工具 [30][31] 网页搜索任务性能 - 在WebWalkerQA基准测试中，应用Training-Free GRPO的DeepSeek-V3.1-Terminus模型的Pass@1得分从63.2%提升至67.8% [34][35] - 完整的Training-Free GRPO方法取得了最佳表现，Pass@1为68.6%，Pass@3为78.4%，凸显了结合真实答案指导、语义优势和经验优化的重要性 [38][39] - 该方法的有效性依赖于基础模型的能力，在QwQ-32B模型上应用时性能提升不明显，甚至低于基线 [40] 成本效益分析 - 与传统微调32B模型相比，该方法在671B大型模型上所需训练数据更少、成本更低 [5] - 对于不同规模的模型，该方法都展现出高性价比，如在Qwen3-32B模型上应用成本仅约4美元，在Qwen2.5-72B-Instruct模型上成本约3美元 [27] - 该方法以极低的成本实现了显著的性能提升，被网友评价为“太划算了吧” [7]

公司战略与实验室成立 - 加州大学洛杉矶分校副教授周博磊加入机器人初创公司Coco Robotics，并担任新成立的Physical AI Lab的首席AI科学家 [1] - Coco Robotics成立于2020年，专注于解决“最后一公里”配送的自动驾驶难题，其长期目标是实现完全自动驾驶以降低配送成本 [2] - 公司已积累真实世界数百万英里的运行数据，数据规模达到临界点，认为可以加速Physical AI的研究进展 [4] 技术基础与数据合作 - 公司早期依赖远程操作员协助机器人规避障碍，如今计划深入挖掘其机器人车队采集的大量运行数据以推进自动化研发 [2] - Coco Robotics与OpenAI有独立合作关系，允许Coco使用OpenAI的模型，同时OpenAI的研究实验室能访问Coco机器人采集的数据，但Physical AI Lab是独立于此合作的研究项目 [5] - 公司计划将实验室的研究成果用于提升自身自动化水平与运行效率，主要应用于其机器人所依赖的本地模型，暂无出售数据给同行的打算，但可能向运营城市分享研究成果以改善基础设施 [6] 核心人物背景与研究方向 - 周博磊本科毕业于上海交通大学，硕士毕业于香港中文大学，2018年在麻省理工学院计算机科学与人工智能实验室获得博士学位，现任UCLA计算机科学系副教授 [9] - 他的研究方向为机器感知和智能决策，重点是通过学习可解释、结构化的表征，使机器在复杂环境中感知、推理和行动 [11] - 他在人工智能顶级会议和期刊发表百余篇论文，总引用数超过6万次，h-index为78，其中一篇一作论文引用接近14000次 [12] 关键技术贡献与影响 - 周博磊提出的类别激活映射技术能有效可视化卷积神经网络在图像分类时关注的具体区域，对可解释性人工智能领域产生深远影响 [13] - 他进一步提出了网络剖析方法，能自动识别和量化神经网络中单个神经元所代表的语义概念，有助于理解整个模型内部知识的表征方式 [16] - 他领导创建了Places数据库，包含超过1000万张已标注场景照片，为场景识别任务训练强大的深度卷积神经网络树立了行业基准 [18]

项目概述 - Andrej Karpathy发布名为nanochat的极简全栈训练/推理pipeline项目，旨在从零开始构建简易版ChatGPT [1][2] - 项目包含约8000行代码，采用全新Rust语言实现，依赖少量单一代码库 [4][5] - 核心目标是将完整技术栈整合为统一、极简、易读、可修改、易分发的代码库，作为LLM101n课程的压轴项目 [11][12] 成本与效率 - 在8×H100 GPU服务器上训练4小时，总成本约100美元即可复刻基础对话版ChatGPT模型 [3][4] - 总训练时间约3小时51分钟，总成本为92.4美元，若包含强化学习阶段总时间接近5小时 [7][57] - 训练深度为30的模型24小时后（算力消耗仅为GPT-3的千分之一），在MMLU数据集可达40多分，ARC-Easy达70多分，GSM8K达20多分 [10] 技术架构与流程 - 实现完整训练pipeline：预训练分词器、在FineWeb数据集预训练Transformer、中期训练、指令微调、可选强化学习 [5] - 推理引擎支持KV缓存、预填充/解码流程、工具使用（Python解释器），可通过CLI或类ChatGPT的WebUI交互 [5][49] - 训练20层Transformer模型，参数量约560M，需11.2B tokens训练，计算量达4e19 FLOPs [33][34][35] 性能表现 - 基础模型CORE指标达0.2219，超越GPT-2 large（0.21），略低于GPT-2 xl（0.26） [7][41] - 监督微调后模型在ARC-Easy达0.3876，GSM8K达0.0455，HumanEval达0.0854，MMLU达0.3151 [7][56] - 强化学习阶段针对GSM8K数学题优化，性能从0.0455提升至0.0758 [7][56] 分词器优化 - 自定义分词器词汇表大小65,536 tokens，训练集包含2B字符，训练时间仅1分钟，压缩比达4.8 [25][26] - 相比GPT-2分词器（50257 tokens），在新闻文本（+7.2%）、代码（+14.6%）、科学内容（+12.3%）压缩效率更优 [27] - 在FineWeb数据集上压缩效率以微弱优势超越GPT-4分词器（100,277 tokens） [27] 社区影响与扩展性 - 项目发布后GitHub Star数迅速飙升至4.8k，被评价为"可被理解的智慧" [14] - 支持通过调整深度参数探索模型系列，深度26时CORE指标可达0.25，接近GPT-2性能 [61] - 项目具备成为研究工具框架或基准测试工具的潜力，所有模块可在社区进一步优化 [13][59]

行业趋势：AI向自主智能体演进 - 大语言模型与强化学习的融合正加速催生能自主决策和执行任务的自主智能体系统[1] - AI范式正从静态模型转向智能体模型，智能体决策对算力与基础设施复杂度的要求远超传统静态推理[9] - 智能体AI经济消耗的算力将是传统静态推理的数个数量级，一次决策可能调用数百次模型前向计算[6] - 全球数据中心的算力支出规模有望从当前的数百亿级跃升至万亿级，突破速度将远超多数人预期[7] 公司战略定位：从算力供应商到智能体运行平台 - 公司定位为真正能满足强化学习主导型未来需求的核心云服务商，布局AI基础设施的智能体阶段[1] - 通过收购OpenPipe获得强化学习工具包，向价值链上游突破，掌握智能体训练核心技术并打通全流程[2] - 从硬件层加API接口质变为智能体全周期支持平台，整合任务推进引擎、记忆模块、奖励评估系统等形成一站式解决方案[3] - 核心目标是将智能体专属需求深度嵌入自身基础设施，满足高吞吐量系统互联、高速内存、回滚架构等全新要求[5] 财务与运营表现 - 季度销售额同比激增200%，达到约12.1亿美元[8] - 已签约的履约义务订单储备接近300亿美元，且无论同比还是环比都保持高速增长[8] - 季度营业利润为正但规模有限，净利润仍为亏损，主要因业务扩张投入，是高速扩张期企业的典型表现[8] - 公司已与主要客户扩大合作协议，并新增了数据中心设施，可见的需求增长与设施扩张为其切入智能体基础设施赛道提供支撑[8] 竞争优势与增长驱动 - 在电力供应、散热效率与GPU资源获取上，相比超大规模云厂商具备持久竞争优势[1][7] - 自研强化学习工具与运行时服务将显著扩大利润率，智能体调度服务的利润率将远超单纯的硬件租赁[4][10] - 智能体运行调度服务让公司能从整个决策循环中捕获更多价值，技术整合度与低延迟保障构成先发优势[9] - 客户的切换成本持续上升，当客户将核心系统部署在平台后，迁移成本极高且伴随巨大风险，增强了竞争壁垒[10] 市场潜力与估值前景 - 到2030年，若有1亿专业人士与企业依赖智能体AI系统，平均每天执行5000次推理计算，年化算力支出将达1.8万亿美元[9] - 公司合理估值区间为800-1000亿美元，若强化学习训练需求加速增长，企业价值可能接近1200亿美元[13] - 估值重估的核心驱动因素是强化学习平台的变现速度，平台收入增长越快，估值溢价空间越大[13] - 随着营收结构向强化学习工具链倾斜，合理估值区间有望逐步扩大，智能体技术的普及速度超预期将释放更大估值弹性[13]

核心观点 - 大语言模型与强化学习的融合正加速催生自主智能体发展，公司定位为满足强化学习主导型未来需求的核心云服务商，是布局AI基础设施智能体阶段的高确定性标的 [1] 战略转型：从算力供应商到智能体运行平台 - 收购OpenPipe是公司向价值链上游突破的关键动作，获得强化学习工具包技术及开发者群体认可，打通智能体训练全流程 [4] - 转型是从硬件层加API接口到智能体全周期支持平台的质变，形成一站式解决方案 [5] - 智能体工作负载呈指数级增长，自研强化学习工具与运行时服务将显著扩大利润率 [6] - 公司将任务推进引擎、记忆模块、奖励评估系统等功能整合进技术栈，构筑竞争对手难以跨越的准入壁垒 [7] 技术优势：适配智能体的基础设施需求 - 智能体决策需要成百上千次前向计算，对高吞吐量系统互联、高速内存、回滚架构等提出全新要求 [9] - 传统云厂商无法满足智能体进化属性所需的日志记录、反馈循环、安全防护等专属需求，公司目标是将这些需求深度嵌入基础设施 [9] - 智能体AI经济消耗算力将是传统静态推理的数个数量级，一次决策可能调用数百次模型前向计算 [11] - 公司作为AI原生新云厂商领军者，占据强化学习训练先发优势，符合低成本电力、高密度散热方案、高性能GPU集群等赢家特质 [12] 财务表现与增长潜力 - 季度销售额同比激增200%，达到约12.1亿美元，已签约履约义务订单储备接近300亿美元，提供未来数年业绩可见性 [14] - 营收高增长但利润率承压是高速扩张期典型表现，向软件层平台层升级将长期改善利润率结构 [14] - 若核心平台通过GPU租赁及智能体调度相关软件服务盈利，长期利润率将迎来质的提升 [14] 市场机遇与估值逻辑 - AI范式从静态模型转向智能体模型是公司冲击万亿估值的核心前提，智能体决策循环对算力需求呈爆发式增长 [16] - 到2030年，若1亿专业人士与企业依赖智能体AI系统，平均每天执行5000次推理计算，每次计算收费0.00001美元，年化算力支出将达1.8万亿美元 [17] - 掌控从GPU硬件到强化学习工具包的垂直技术栈价值远高于按小时算力收费，智能体运行调度服务能从整个决策循环中捕获更多价值 [17] - 客户切换成本持续上升，依赖关系增强竞争壁垒并带来更高利润率 [17] - 采用混合估值模型，基础设施业务按6倍EV/Sales、智能体平台业务按14倍EV/Sales，企业价值合理区间为800-1000亿美元 [20] - 若强化学习训练需求加速增长，平台业务收入占比提升至30%，前瞻市销率可进一步升至7-9倍，企业价值或接近1200亿美元 [20]

最近社区内部有同学留言，强化学习是不是比较古老的学科，审稿人还会青睐吗？ 先回答这位同学的问题，RL是个学科，但是以发展时间来判断fashionable不是很合理。最近这段时间，在 arxiv上看到了很多关于RL、RL+VLA的内容，应用在机械臂、人形等本体上。 甚至其他领域也在依靠RL来做产品优化比如自驾，可以说，RL相当重要，相关工作在顶会上出现的也比较 多。 强化学习发挥着重要作用～ 说到具身智能机器人，无论是人形还是四足，都离不开的一个重要任务是步态控制，这也是迈向通用具身 必须要攻克的难关。 而目前主要方案即是强化学习，宇树、智元等公司的人形机器人大多通过强化学习完成对应任务，包括： 爬楼梯、爬山、跑步、跳舞、翻跟头等各类高难度动作的学习，从而赋予产品能够适应救援、测量、危险 环境的场景。 除此之外机械臂的VLA+RL方案在学术领域越来越受欢迎，RL让机器人执行的更高效、丝滑与顺畅。 但强化学习涉及的体系较大、内容繁杂,很多小白根本不知道 怎么入门,发出一篇论文更是难度极大。没有完整的学习体 系,将会处处踩坑,久久不能入门,导致最终放弃学习,错失 了机会。为了解决这个痛点,具身智能之心联合业内专家, ...