Workflow
语言模型
icon
搜索文档
李想谈与DeepSeek梁文锋聊完后印象最深的两点
理想TOP2· 2025-11-03 15:33
公司管理哲学与组织架构 - 公司采用差异化管理方式,管理工厂、操作系统、研发汽车、研发智能驾驶均使用不同的组织管理模式[6] - 公司智能驾驶团队与模型团队中,校招生占比极高,达到百分之六七十[1][7] - 公司倾向于让年轻人主导研究工作,认为很多经验对于搞研究反而构成障碍,因此很少招募行业专家[1][7] 智能驾驶研发策略 - 公司真正从事端到端自动驾驶研发的团队规模约为200人,与特斯拉规模相近[6] - 公司端到端自动驾驶团队的规模远小于采用规则算法的竞争对手,后者团队规模可达2000人至6000人[6] - 公司在进行视觉语言模型和多模态训练等相关工作的团队规模约为一百多人,与DeepSeek团队规模类似[6] 技术研发与外部合作 - DeepSeek的开源对公司研发语言模型有巨大帮助,将原计划耗时缩短了九个月,加速了公司研发进程[5] - 作为对开源社区的回报,公司决定将其操作系统开源[5] - 公司从中国教辅体系中获得启发,认为其解题过程是进行强化学习反馈的有效训练体系[8] 领导层核心能力与驱动力 - 公司CEO自认在AI工程领域具备扎实基础,不会被下属误导,因其拥有良好的工程思维[2][16][17] - 公司CEO将其成功归因于对“成长”的专注,成长是其个人驱动力,用户价值和商业价值是成长的结果[14][15] - 公司CEO认为其工程能力体现在善于提出结构性问题上,曾主导设计汽车之家网站架构和增程架构,这些架构至今仍是行业主流[18] 对行业同行的评价与洞察 - 公司CEO评价梁文锋是一个特别自律、善于在全球范围内研究和学习最佳实践与方法论的人[4][5] - 公司CEO认为梁文锋的成功在于其践行“先研究分析再行动”的高成功率最佳实践,并将此模式在组织内放大[12][13] - 在与梁文锋会面时,公司CEO认可其团队实力,但未预料到其能在约一个季度内实现从O1到R1的快速进步[8][9]
从 xAI 出走的顶尖研究员启动创业项目,目标让模型“有情商”
搜狐财经· 2025-11-01 17:34
公司融资与估值 - 顶尖AI研究员埃里克・泽利克曼正为其新创公司Humans &筹集10亿美元资金 [1] - 该公司当前估值为40亿美元(约合284.82亿元人民币) [1] 公司技术愿景 - Humans & 公司将打造能够从用户身上学习并产生共情的AI模型 [5] - 模型的核心目标是理解用户,旨在改进以人为中心的模型 [5] - 公司认为通过改进此类模型,AI能够实现攻克癌症等迄今未达成的宏大目标 [5] - 目标是构建能够高效理解不同人目标、抱负和价值观,并与大型群体协作的模型 [5] 行业投资趋势 - 风险投资者正纷纷向知名研究员领导的AI初创公司投入巨额资金 [4] - 行业押注下一次AI重大突破将来自小而精的高才团队 [4] 创始人与技术理念 - 创始人埃里克・泽利克曼是斯坦福大学计算机科学博士生,曾任职于xAI、微软和Lazard [4] - 其去年发表的论文首次详细说明了语言模型如何在“开口前学会思考” [4] - 泽利克曼指出当前语言模型过于冷漠和机械,根本问题在于模型无法理解自身言行的长期影响 [4] - 他认为许多AI研究者的才能未被充分利用,关注方向不正确 [5]
蔚来任少卿:世界模型解决的是时空认知,VLA做不到。
自动驾驶之心· 2025-10-10 07:32
智能驾驶技术路线分析 - 智能驾驶真正的上限在于世界模型,即以视频为核心,通过跨模态预测和重建学习时空物理规律,再叠加语言层进行交互和知识注入[2] - 世界模型解决时空认知问题,而语言模型解决概念认知问题,语言模型因低带宽和稀疏性无法有效建模真实四维时空[2] - 视觉语言模型本质是语言模型的模态扩展,根基仍在语言模型上,像是在原有体系上不断"加模态"[3] - 世界模型旨在建立高带宽认知系统,直接在视频端建立能力而非先转成语言,类似人类眼睛带来的高带宽视觉体验[3] - 自动驾驶终极目标是通过开放集智能引擎实现真正开放式交互,用户可随意表达指令而非局限于有限指令集[3] - 华为本质上也在做世界模型,蔚来去年七月份前已提出此概念,VLA/WA等名称差异关键看是否真正建立时空认知能力[5] 语言模型在智能驾驶中的价值 - 语言模型能内建物理规律如重力、惯性和速度变化,形成模型内部基础认知[6] - 语言模型具备时空操作能力,可理解和预测物体在三维空间加时间维度的运动如车辆绕行[6] - 语言模型吸收海量互联网案例数据,尤其有代表性复杂场景对自动驾驶训练非常有帮助[7] - 通过链式推理语言模型带来逻辑推理能力,弥补世界模型尚未建立的细粒度推理[7] - 自然语言接口使人机交互更直接,用户可像与司机沟通一样告诉车具体行驶指令[7] - 语言模型提供概念认知,世界模型提供时空认知,两者结合将最终走向通用人工智能[8] 自动驾驶行业现状与社区资源 - 自动驾驶领域高度内卷,前沿技术栈趋于收敛,量产方案趋同,行业面临破局需求[9] - 行业变革期真正留在行业内的需综合型人才,技术栈丰富,仅抱"捞一波"心态难以长久[9] - 自动驾驶之心知识星球已运营三年,集视频图文学习路线问答求职为一体,目前超过4000人[11] - 社区联合学术界工业界大佬,梳理近40+技术路线,涵盖VLA benchmark、综述和入门路线[12] - 社区提供全栈方向学习课程,适合0基础小白,涵盖感知融合、多传感器标定、SLAM等高精地图等[18] - 社区与多家自动驾驶公司建立内推机制,可第一时间将简历送至心仪公司[18] - 社区汇总国内外知名高校实验室和自动驾驶公司,供读研申博博后参考[37][39] - 社区针对热点领域如端到端自动驾驶、3DGS与NeRF、世界模型、VLM等做了详细技术梳理[47][49][52][54]
任少卿的智驾非共识:世界模型、长时序智能体与 “变态” 工程主义
晚点Auto· 2025-10-09 20:17
文章核心观点 - 蔚来智能驾驶负责人任少卿认为,实现高级别自动驾驶和通用人工智能(AGI)的正确路径是构建以视频为核心的“世界模型”,并结合强化学习,而非当前行业主流的以语言模型为基础的端到端或VLA方案 [6][7][9][10] - 公司选择了一条技术更复杂、投入更高的路线,包括高算力平台(如4颗Orin芯片)、多传感器配置以及全新架构,旨在建立对物理世界时空认知的底层能力,短期内可能显得进展较慢,但长期看上限更高 [7][23][25][57] - 蔚来已建立起包括三层数据系统、三代首发平台和“4×100米接力”研发体系在内的核心能力,其工程能力和数据体系被认为是行业领先的,并已通过端到端AEB等技术验证了实际效果,如事故损失下降25% [34][36][42][44][45][54][63] 技术路径:世界模型与强化学习 - **对主流方案的批判**:端到端是智能驾驶发展阶段的产物,本质是“填坑”,将过去拆分的模块重新拼接;VLA本质是语言模型的模态扩展,根在语言上,但语言带宽低,无法承载现实世界的连续复杂性 [9][13][14][16] - **世界模型的定义与优势**:以视频为核心,直接学习时空和物理规律,建立高带宽的时空认知能力;与语言模型并行,前者解决“概念认知”,后者解决“时空认知”,两者融合才能实现AGI [10][11][13][27] - **强化学习的关键作用**:模仿学习只能解决短时序问题,强化学习能将系统从“5秒记忆的金鱼”进化为能处理长时序(30秒、60秒)规划的智能体,并能“清洗”海量但嘈杂的真实驾驶数据,提升模型能力 [7][28][29][31][32] - **与友商技术对比**:理想和小鹏的基座模型以语言模型为训练底座;华为的WA模型本质也是世界模型,只是表述不同;特斯拉是否构建世界模型尚不确定 [17] 研发与工程体系 - **数据系统**:建立三层数据系统——数据闭环系统(DLB)用于自动筛选数据;伴生系统用于大规模AB测试,每周测试里程达几千万公里;风险评估控制系统用于自动化分析每日数百万次接管数据 [36][42] - **工程能力**:三代智驾平台均实现全球首个芯片量产(Mobileye EyeQ4、英伟达Orin、自研神玑),团队仅大几十人,通过统一软件栈(仅保留CUDA底层,上层自研)支撑多平台,工程能力被锻炼得特别强 [54][55][56] - **研发组织“4×100米接力”**:第一棒预研团队专注将不确定性转化为确定性方案;第二棒量产团队负责将预研成果高质量交付;第三棒平台复制团队将功能适配到不同芯片平台;第四棒车型复制团队将方案快速部署到不同车型 [47][48][51][52][53] 产品化进展与目标 - **已实现成果**:2024年5月推送世界模型架构OTA更新;2023年底推出端到端AEB,经保险公司数据验证,事故损失下降25%;2025年5月在地库实现语言指令找出口功能,为国内首发 [22][40][44][45][63] - **近期规划**:计划在2024年底至2025年Q1推出Open-set开放集指令交互功能,使用户能通过自然语言与车辆自由交互,而非仅限于有限指令集,此举被认为将领先行业 [18][19][22] - **安全目标**:将主动安全置于最高优先级,下一个版本的目标是将事故损失降低50% [40][64][65] 战略选择与行业定位 - **硬件策略**:高算力平台(如4颗Orin)提供安全冗余、承载更多新功能且迭代更早;低算力平台(如乐道用1颗Orin)通过功能蒸馏和压缩实现主流体验,但最新功能会滞后 [45][46][50] - **发展节奏**:选择统一高速与城区方案的架构,虽初期开发量大、显得慢,但长期架构更干净、扩展性更好;跨大洲(中国和欧洲)同步量产也对研发和供应链构成极限压力 [25][39][43] - **核心优势**:底层平台、数据和工程能力经过三代架构锤炼;当前处于新架构(世界模型)初期,重点是将新架构潜力释放60%-80%;方向明确指向AGI,在更大技术语境下没有争议 [25][56][57][72]
高盛:市场内幕为联储降息做准备
高盛· 2025-09-15 09:49
行业投资评级 - 对人工智能主题长期前景非常乐观但短期需经历波动和调整 [4] - 倾向于早期周期及更多周期性倾斜而非过度集中于人工智能相关股票 [7] - 喜欢趁低吸纳估值较低人工智能资产因采用率提升和普遍低配情况 [18] 核心观点 - 美联储态度谨慎不承诺进一步降息因通胀仍高于目标且内部对降息次数存分歧 [1] - 市场定价基于未来预期如人工智能数据中心建设热潮推动2026年积极预期 [3][7] - 当前经济数据两极分化但多数客户对2026年上半年持乐观态度预计财政扩张和降息带来积极影响 [5] - 投资者应关注非衰退性降息周期及2026年强劲复苏预期调整投资组合 [7] - 全球人工智能热潮有望在未来3到5年内显著提升生产率促进更强劲经济增长 [12] 美联储政策与利率预期 - 美联储或采取谨慎态度一次会议一次决策因需平衡通胀疲弱就业市场及其他因素 [9] - 市场普遍预期美联储将在下周FOMC会议宣布降息但鲍威尔可能不会承诺进一步降息 [2] - 美联储内部存在分歧有些成员预计今年只会有一次降息而另一些认为可能会有2到3次 [2] - 当前金融环境非常宽松美联储可能采取较为谨慎降息措施即使降息幅度小于预期也可能引发市场波动 [13] 人工智能行业表现 - 人工智能股票近期波动较大市场担忧语言模型采用率及增长持续性 [1] - 英伟达等公司受到负面评价但甲骨文取得巨大进展重燃部分交易 [4] - 大量订单来自OpenAI客户表明市场仍存在摩擦和不确定性 [4] - 全球存在两个可靠人工智能技术链其中一个交易价格大幅低于另一个 [17] 经济数据与劳动力市场 - 劳动力市场数据难以迅速恢复到过去每月100K或150K以上就业增长水平 [5] - 移民等因素导致就业增长趋势发生根本转变且人工智能可能成为就业阻力 [5] - 实时经济数据如ISM新订单货币供给和联储表现显示2026年初可能加速复苏 [5] - 非农就业数据负面变化可能引发市场动荡 [6] 消费与零售行业 - 零售和消费股表现好于去年同期沃尔玛开学季表现出色预示假期销售旺季 [6] - 周期性股票估值已达历史高位劳动力市场恶化或使联储难以应对 [6] 市场表现与投资机会 - 标普指数今年至今只有一天涨跌幅超过2%而动量因子表现出更多波动性 [14] - 美国前端供给波动性被严重低估如甲骨文公布收益后股价上涨40% [15] - 全球市场交易表现逐步改善归功于人工智能主题中国韩国和日本股票逐步上涨 [16] - 美国实际利率快速下降美元单向上涨黄金不断突破新高 [16] 全球贸易与新兴市场 - 新兴市场指数ETF呈现上涨趋势美中关系比大多数人预期更加缓和 [16] - 中国表现超出预期投资者理性寻找非美元计价替代投资品 [16] 财政与宏观经济 - 美国及大多数发达国家面临人口老龄化问题导致劳动力增长缓慢债务占GDP比例很高如美国净债务占GDP已超过100% [11] - 更强财政纪律和生产率增长是去杠杆重要途径 [12] - 2025年GDP增长预计只有1.5%但股市创历史新高因未来预期乐观 [7]
[大模型实践] 卡比人贵时代的深度学习经验
自动驾驶之心· 2025-06-20 22:06
大模型实验方法论 - 选准关键指标指导迭代方向,避免盲目追求表面指标而忽略真正区分SoTA能力的核心指标[1][4] - 识别实验真瓶颈,通过文献阅读和同行讨论排除低效调参,聚焦验证强假设而非网格搜索[1][5] - 平衡大小实验组合:大实验(10B-100B规模)用于发现问题,小实验快速筛选有效想法[1][6] 实验设计与效率优化 - 定性实验需揭示新现象(如长链思维o1/R1的应用突破),而非仅追求定量指标提升[4] - 自动化评测工具可提升效率,公司内部采用多榜单自动测试机制以发现潜在问题[4] - 避免低性价比实验,超参数微调或数据配比研究对大规模模型效果有限[5] 团队协作与资源整合 - 明确团队比较优势分工:卡资源充足者可主导大规模验证,资源有限者聚焦前期idea验证[8] - 通过高频交流与实验记录共享提升协作效率,优化资源分配(如卡调度)[8] - 大模型研发需跨角色协作,需结合社区定位调整团队研究方向[8] 行业技术动态 - 自动驾驶领域技术覆盖30+方向(BEV感知、多传感器融合、轨迹预测等),社区规模达4000+成员[9] - 前沿技术布局包括端到端自动驾驶、世界模型、大模型应用等,产学研结合紧密[9][11]
Z Potentials|专访陈羽北,Aizip打破效率瓶颈,让AI进入真实产品,推动On-Device AI的未来革命
Z Potentials· 2025-06-11 10:21
行业背景与公司定位 - AI行业面临能耗高、模型庞大、学习机制复杂等效率瓶颈问题,创新型公司正致力于突破这些难题 [1] - Aizip专注于On-Device AI模型研发,推动AI技术在硬件设备上的广泛应用,在多模态感知、语言推理及行为控制等领域取得突破 [1] - 公司定位为不具备全栈AI能力企业的后盾支持方,帮助客户实现AI技术落地 [32] 创始人背景与创业历程 - 创始人陈羽北本科毕业于清华大学电子系,博士阶段在伯克利从事AI理论研究,后在Meta从事博士后研究 [4][5] - 2020年疫情期间创立Aizip,联合创始人包括斯坦福和CMU背景的技术专家,团队注重"高能力、低ego"的人才 [16][17][18] - 创业动因包括:实现AI技术落地、把握数据入口迁移机遇、提升AI效率 [8][9] 技术理念与研究方向 - 核心研究聚焦AI三大效率问题:能量效率(人脑20瓦 vs 大模型数千瓦)、模型效率(跳蛛几百万神经元 vs 自动驾驶数十亿参数)、学习效率(人类100亿token vs LLaMA 3 15T tokens) [10] - 研究方向包括:白盒模型(探索AI内部机制)、世界模型(模拟现实世界)、小语言模型开发 [15] - 不盲目追求模型规模,而是开发"全球最小、最高效"的AI系统 [14] 产品与技术架构 - 产品围绕三类感知模态(声音、视觉、时序)和语言模型展开 [22][23] - 视觉模态包括物体识别、人脸识别、OCR等;时序模态专注于高精度"下一步预测"能力 [23] - 开发voice-AI agent,融合语音识别、小语言模型、local RAG等能力 [24] - 已实现3B参数小模型在手机端部署,可完成本地路线推荐等任务 [27] 市场前景与商业化 - 预测未来50%的AI推理将在设备端完成,拐点将在2-3年内到来 [26][31] - 商业化路径分三阶段:技术优势→规模优势→品牌优势 [34] - 已与Renesas、ADI、Qualcomm、Bosch等头部硬件厂商合作,模型年出货量达数千万级别 [36][38] - 获得"Best Sensor of the World"、"Best AI Product of the Year"等国际奖项 [38] 行业趋势判断 - On-Device AI将迎来"质价比跃迁",由市场准备、硬件演进(如苹果芯片从0.6 TOPS发展到35 TOPS)、软件突破三股力量推动 [29][30] - 云端AI与设备端AI将共存,但设备端在隐私、延迟、成本方面具优势 [26][27][28] - 看好learning与search融合的技术趋势,关注OpenAI的Operator概念 [41]
为什么用错奖励,模型也能提分?新研究:模型学的不是新知识,是思维
机器之心· 2025-06-08 11:45
语言模型对奖励噪音的鲁棒性研究 - 语言模型对强化学习中的奖励噪音具有鲁棒性,即使翻转相当一部分奖励(如正确答案得0分,错误答案得1分),下游任务表现不受显著影响 [2] - 强化学习对下游任务的提升关键在于模型能否产生高质量的思考过程,而非奖励的绝对准确性 [2] - 仅通过奖励模型输出中关键思考词的出现频率(而非答案正确性),语言模型仍能取得高表现 [2] 思考模式奖励机制(RPR) - 设计极简奖励机制RPR,根据高频思考关键词(如"First, I need to"、"finally")的出现频次给予奖励 [6][7] - 仅使用RPR机制(不考虑答案正确性),Qwen-2-5-7B在MATH-500数据集上准确率从5%提升至70%以上 [11] - RPR可校准奖励模型输出,即使奖励模型准确率仅65%,校准后效果接近85%准确率模型的表现 [17] 奖励模型准确率与噪声耐受性 - 当奖励模型准确率超过75%时,不同模型训练结果的主观评测得分相似 [14] - 奖励模型准确率低于75%时训练效果显著下降,65%准确率时表现大幅劣化 [14] - RPR校准可帮助较小模型(如Qwen-2-5-3B)避免训练崩溃,在复杂开放任务中展现良好解题思路 [20][21] 强化学习的核心作用 - 强化学习主要改变语言模型输出风格并形成良好思考模式,而非教授新知识 [22] - 预训练阶段的能力提升仍至关重要,因其构成下游任务表现的基础瓶颈 [23] - 实验显示Llama3因预训练阶段思考路径质量不足,表现和抗噪音能力显著弱于Qwen模型 [23]
如何知道别人想要什么?
36氪· 2025-04-29 08:06
需求洞察方法论 - 传统需求调研假设存在客观可测的隐性需求集合 通过街头访谈 问卷调查等方式收集数据 但这种方法容易陷入无止境的细节描绘而忽略真正迫切的需求 [2][5] - 本质主义思维认为需求是固有属性 可通过形式化方法发掘 但现实中需求由特定行为序列触发 需要创造性构建情境来催生 [5][6] - 主动展现世界观或产品构想能激发客户具象化需求 如同非牛顿流体遇力变硬 在未受刺激前需求处于混沌状态 [3] 序列思维应用 - 需求产生于情境而非孤立存在 关键在于构建能激发目标客户反应的言行序列 刻意保持客观反而会削弱观察效力 [4][5] - 通过试错成为能创造需求的人 需观察并复现情绪震颤 如新餐厅体验中的文化密码与情感交织 这些感受可转化为设计LOGO或撰写文章的灵感 [7] - 语言模型训练是序列思维的隐喻 通过生成序列学习隐性模式 在特定语境下调用 人类同理 但作为持续训练的模型能不断产生新响应 [7] 产品开发范式 - 主流方法论聚焦客户客观需求 认为产品是雇佣来完成特定任务的工具 但客户通常无法明确表达需求清单 [1][2] - 老练的创始人采用民族志研究方法 勾勒客户立体画像 包括日常行为细节 但过度追求客观性可能导致核心需求迷失 [2][3] - 开发过程如同学步 需经历笨拙尝试与跌倒 最终掌握微动态调节能力 无需思考即可做出响应 这是做出别人想要东西的关键 [8]