Workflow
LLM(大语言模型)
icon
搜索文档
Jinqiu Select | Physical Intelligence 联创:AI训练的真实数据不可替代
锦秋集· 2025-07-22 23:04
核心观点 - 过度依赖替代数据源会严重限制AI模型的最终能力 真正的技术突破必须建立在真实数据基础之上 [1] - 当前AI研究面临"勺叉困境":试图用模拟器 人类视频或手持设备等廉价替代方案训练机器人 结果导致模型在真实场景中表现不佳 [1][3] - 机器学习的铁律是训练数据必须与测试条件相匹配 替代数据无法完全替代真实数据在物理世界中的实践 [10] 权宜之计的替代方案 - **模拟训练**:通过sim-to-real方法在模拟环境中训练机器人 但最佳模拟往往不是精确复现现实 而是编码机器人需要应对的各种变化 [3] - **人类视频学习**:需定义人机对应关系 但需弥合人类动作与机器人动作在动力学和外观上的差异 [3] - **手持夹爪设备**:让人们使用模仿机器人夹爪的设备收集数据 但仍受限于设备的工作空间和运动学差异 [3] 替代方案的局限性 - 替代数据将模型限制在三个条件的交集中:系统有效行为 能用替代方法实现的行为 不会暴露领域差异的行为 [4] - 模型越强大 越能区分替代数据与真实数据 导致交集缩小 任何扩大交集的尝试都会削弱模型能力 [6] - 替代数据优化针对特定场景 无法保证在新场景下的匹配度 模型的泛化能力反而成为推广到新场景时的累赘 [7] 真实数据的重要性 - 构建机器人基础模型必须依赖真实数据 才能实现像LLM和VLM在虚拟世界中的广泛泛化能力 [11] - 替代数据应作为辅助知识源 用于了解"世界可能发生什么" 而非"智能体该怎么做"的直接指令 [12] - 在大量真实机器人经验基础上 加入人类数据或模拟数据等多样化来源 比完全回避真实数据更有效 [11] 勺叉现象的普遍性 - "勺叉"现象不仅存在于数据替代方案 还包括混合系统 手工约束学习系统等方法 都试图用人工设计应对训练不充分问题 [13] - 手工设计的归纳偏置会成为性能瓶颈 违背机器学习通过数据驱动获取能力的核心优势 [13]
概率统计机制下,LLM 推理真的「理解世界了」吗?
机器之心· 2025-06-21 14:32
概率统计机制下LLM推理能力的本质探讨 - 苹果公司近期发表论文指出当前LLM的推理仅是模式匹配而非真正思考,引发行业对AI推理能力的重新审视[3] - 学术界对AI推理的经典定义强调其应包含逻辑推导、符号操作或统计关联生成新结论的过程,但佛罗里达人类与机器认知研究所科学家明确表示主流LLM尚未具备严格推理能力[4] - 2011年图灵奖得主Pearl的因果推理理论指出真正推理需理解「如果…那么…」的因果关系,而当前LLM缺乏因果框架导致推理深度不足[5] - 圣塔菲研究所教授通过实验证明GPT-4仅能复述类比题型但未发展出因果归纳能力,显示模型学习的是语言形式而非理解结构[5] 关于LLM推理能力的对立学术观点 - 普林斯顿荣誉教授提出推理本质是基于心智模型的认知活动,2018年图灵奖得主Hinton支持该观点并认为人类认知更接近模式匹配而非逻辑推理[5] - Hinton强调人类决策依赖经验映射和类比推理,而LLM展现的模式拟合能力已达到准认知水平[5][6] - UCLA研究者发现GPT-3/4在零试条件下通过类比推理解决新问题的能力匹配甚至超越人类表现[7] 思维链(CoT)在LLM推理中的实际作用 - 部分研究者认为思维链是LLM实现可用性推理的核心机制,Next Token Prediction可能构成动态建模过程而非简单复读[7] - 行业对CoT是否显性触发推理路径存在争议,强化学习后训练或可突破LLM当前的「知识幻觉」限制[1][3] 企业AI采购预算趋势分析 - 企业增加生成式AI支出的核心动因包括从自建转向采购第三方应用,且采购流程呈现传统软件特征[1] - 生产用例中采用多模型的策略源于对评估框架的优化需求,关键因素涵盖性能、成本与适配性等维度[1] 本期通讯数据概览 - 包含2项专题深度解读及31项AI/Robotics赛道要闻速递,其中国内动态8项、国外动态11项、技术进展12项[2] - 总字数达22632字,免费试读比例为7%,完整版需消耗99微信豆(约合人民币9.9元)[3]