Workflow
批次不变内核
icon
搜索文档
TML 成立7个月首发声:揪出大模型随机元凶,开源方案终结 LLM 推理乱象
36氪· 2025-09-11 17:59
公司概况与融资 - 由OpenAI前CTO Mira Murati于2025年2月创立的Thinking Machines Lab (TML),成立仅七个月,尚未发布任何产品 [3] - 公司已完成20亿美元种子轮融资,估值高达120亿美元,领投方为硅谷风投a16z,英伟达、AMD、思科等科技企业参与投资 [3] - 团队共30人,其中三分之二来自OpenAI,核心成员包括OpenAI联合创始人兼ChatGPT核心技术开发者John Schulman、前研究副总裁Barret Zoph,以及拒绝扎克伯格15亿美元回聘邀请的AI安全专家Andrew Tulloch [4] 公司使命与研究重点 - 公司使命并非追求更强的模型,而是致力于填补AI能力与人类需求之间的差距,解决AI输出结果的不可控性和随机性问题 [5] - 研究重点与主流AI企业不同,不追求扩大模型规模,而是专注于提升AI表现的稳定性和可理解性,旨在让AI决策过程不再像“黑匣子” [13][15] - 公司研究博客命名为“Connectionism”(联结主义),意在通过基础研究深入理解AI的运作机制 [15] 技术痛点与核心发现 - AI行业长期存在随机性技术痛点,例如用AI检查同一份合同或咨询同一问题,可能得到不同的风险提示或答案 [1] - TML研究明确,AI随机性的核心成因并非“随机种子”设置差异,而是“批次处理”的技术细节以及并行计算策略的变化 [6][7] - 具体而言,批量大小、序列长度、KV缓存状态的不同会影响GPU内核选择策略,改变计算执行顺序,加之浮点数计算的细微差异在神经网络中累积放大,最终导致输出不一致 [7] 技术解决方案与验证 - TML提出了“批次不变内核”的创新解决方案,确保无论处理的数据量大小和分组方式如何,AI系统中的关键计算部分都能按照相同步骤得到一致结果 [10] - 方案特别针对RMSNorm、矩阵乘法、注意力机制三个核心模块进行了专门优化,以稳定计算流程 [10] - 使用拥有2350亿参数的Qwen3-235B-A22B-Instruct-2507模型进行测试,传统AI系统对同一问题测试1000次可产生80种不同结果,而采用新方案后,相同输入每次都能输出完全一致的答案,这在大语言模型发展史上尚属首次 [10] - 方案初期使计算速度下降近一半,但经优化后,性能损耗已处于可接受范围 [12] 行业应用与价值 - 该技术突破对医疗、金融等关键行业具有显著实际价值 [12] - 在医疗诊断中,可避免AI对同一患者CT影像产生前后矛盾的分析,干扰临床决策 [12] - 在金融风控领域,可防止AI对相同贷款申请的评估结果出现波动,从而避免风险误判和触及合规红线 [12] - 该技术如同为高风险行业的AI上了一把“安全锁”,使其更可靠、更值得信赖 [12] - 尽管TML尚未公布具体商业化计划,但金融和医疗行业已表现出浓厚兴趣 [15]