Workflow
Large Language Model (LLM)
icon
搜索文档
100美元、仅8000行代码,复现ChatGPT,Karpathy:这是我写过的最疯狂的项目
Founder Park· 2025-10-14 12:18
本篇内容转载自「新智元」 100美元、4个小时、仅8000行代码,就能复现出一个专属的 ChatGPT。 特斯拉前AI总监、OpenAI创始成员 Andrej Karpathy 发布了其 全新开源项目「nanochat」, 一个极简但完整的 「从零构建ChatGPT」 训练框架。 Karpathy 说这是他写过的最疯狂的项目之一。 在项目刚放出还不到12个小时内,GitHub星标就破了 4.2kStar。 与早期的nanoGPT不同,nanochat不仅涵盖预训练,还囊括了从数据准备、预训练、中期训练(对话、多项选择题、工具使用)、SFT、RL 微调到推理部署的 全流程。 整个系统仅约8000行干净代码,启动一台GPU机器、运行一条脚本,4小时后你就能在网页界面与自己训练的「小ChatGPT」对话。 Karpathy将其称为LLM101n的「压轴之作」, 同时也可能成为未来研究基线和开源社区的实验平台。 GitHub项目地址:https://github.com/karpathy/nanochat 超 15000 人的「AI 产品市集」社群!不错过每一款有价值的 AI 应用。 邀请从业者、开发人员和创业者,飞 ...
100美元、8000行代码手搓ChatGPT,Karpathy最新开源项目爆火,一夜近5k star
36氪· 2025-10-14 10:25
「这是我写过最疯狂的代码之一。」 本周一,AI 领域大神 Andrej Karpathy 发布了自己的最新开源项目,瞬间引来了整个社区的关注。 这个名为 nanochat 的项目据说可以教你从零开始,以 100 美元的成本自建 ChatGPT。它覆盖 LLM 的训练和推理,只要跟着学就可以了解构建大模型的所 有步骤了。 总共是 8000 行代码,在 GitHub 上放出不到 12 个小时,star 量就已经超过 4500: GitHub 链接:https://github.com/karpathy/nanochat 与 Karpathy 之前发布的 nanoGPT 仓库(只覆盖了预训练阶段)不同,nanochat 是一个从零开始实现的、极简但完整的 ChatGPT 克隆版训练 / 推理全流 程项目,所有内容都集中在一个依赖极少、结构干净的代码库中。 你只需要启动一台云 GPU 机器,运行一个脚本,大约 4 小时后就可以在 ChatGPT 风格的 Web 界面里和你自己的 LLM 聊天。 使用全新的 Rust 实现训练分词器。 在 FineWeb 数据集上预训练 Transformer LLM,并在多个指标上评 ...
阿里巴巴-2025 年云栖大会承诺加大投资,拥抱人工智能大模型时代
2025-09-26 10:29
公司信息 * 阿里巴巴集团 在2025年云栖大会上宣布将增加对人工智能和云计算的投资 初始预算为未来三年超过3800亿元人民币[1] * 公司定位为全球领先的全栈人工智能服务提供商 提供最佳大模型 全球AI云网络以及开放和开发者友好的生态系统[1] * 根据Omdia数据 阿里云占据中国AI云市场36%的份额 在提供商中排名第一[14][15] 战略与投资 * 管理层认为大模型将成为下一代操作系统 而AI云将成为下一代计算机[1] * 管理层认为全球可能只有5-6个超级云计算平台[1] * 长期投资将超过3800亿元人民币的资本支出计划[1] * 利用其300多个开源AI模型 公司推出了云模型工作室代理-百炼 为AI代理的开发和优化提供端到端支持[2] 产品与技术升级 * 发布了迄今为止最大、能力最强的大型语言模型Qwen3-Max 其指导版本超越了GPT-5-Chat以及最新的视觉语言模型Qwen3-VL[2] * 升级了Qwen-Coder 升级了多模态视觉模型系列Wan家族和音频模型系列Fun家族[2] * 在AI基础设施方面 发布了高密度磐久超节点服务器 高性能网络架构HPN8.0 面向AI时代的分布式存储CPFS[2] * 增强了基础设施能力 包括灵骏AI集群 PAI模型训练 推理 强化学习加速等[2] 财务数据与预测 * 将FY26-28e EPADS(每股ADS收益)提高0-4%[3] * 目标价从168.00美元上调至195.00美元[3][7] * 预计未来三年云业务复合年增长率(CAGR)将超过30%[3] * 2025A财年调整后净利润为1301.09亿元人民币 2026E财年预计为1040.68亿元人民币(同比下降19.0%) 2027E财年预计为1360.43亿元人民币(同比增长32.7%) 2028E财年预计为1738.34亿元人民币(同比增长31.9%)[4] * 2025A财年每股收益为53.88元人民币 2026E财年预计为43.62元人民币 2027E财年预计为57.89元人民币 2028E财年预计为76.34元人民币[4] * 2025A财年市盈率为21.95倍 2026E财年预计为26.59倍 2027E财年预计为20.04倍 2028E财年预计为15.20倍[4] * 2025A财年净债务权益比为7.8%[7] 商业化与增长动力 * 公司看到巨大的云业务上升空间 驱动力来自强劲的AI原生需求 国际扩张和传统行业AI采用率的提高[3] * 利用其全栈云+AI服务 预计来自电动汽车 金融和具身智能垂直领域的业务将快速增长[3] * 电子商务前景稳固[3] 风险因素 * 下行风险包括:1) 宏观消费放缓 2) 价值破坏性或低效投资 3) 为海外扩张和新技术开发过度支出 4) 关于数据 安全 反垄断 蚂蚁集团 贸易 增值税 上市 美国限制以及PCAOB审计检查的监管 5) 关于监管 合规和质量的声誉风险 6) 行业竞争 包括短视频平台和社交媒体平台对核心商业的竞争以及AI计算和应用的新进入者 7) 在庞大基数或高渗透率下行业增速放缓 8) 宏观和国家层面的冲击 如疫情 经济体系变化 制裁或军事冲突 9) 管理团队不稳定可能导致战略混乱和执行效率低下[18] 其他重要信息 * 投资意见为买入(BUY)[1][3][7] * 当前ADR价格为163.08美元[1][7] * 目标价基于多阶段DCF估值 对阿里巴巴业务的DCF估值为170美元 其上市实体长期投资的市场价值为8美元 包括股权和债务投资在内的未上市实体为6美元 其对蚂蚁集团的持股估值更新为785亿美元[17]
LeCun力荐的JEPA杀入LLM,用CV的思路训练LLM,性能鲁棒性双丰收
机器之心· 2025-09-22 15:26
文章核心观点 - Yann LeCun及其团队提出LLM-JEPA架构 将计算机视觉领域的联合嵌入预测架构(JEPA)成功扩展至大型语言模型领域 通过嵌入空间预测任务增强模型抽象能力 同时保留生成能力 [7][8][10] - LLM-JEPA在多项实验中被验证显著优于传统自回归训练目标 在微调和预训练阶段均能提升模型性能 且对过拟合表现出强鲁棒性 [10][23][32] 技术架构创新 - 核心设计采用JEPA理念 将文本和代码视为同一概念的多种视图 通过编码器提取嵌入向量 预测器基于自注意力机制实现权重绑定 度量方式采用余弦相似度 [15][16][17] - 损失函数结合传统自回归损失和JEPA目标 通过超参数λ平衡两项损失 编码器通过两次独立前向传播避免跨视角信息泄露 [15][16] 性能验证结果 - 在Llama3、Gemma2、Olmo等主流模型及NL-RX、GSM8K等数据集上 微调后准确率显著提升 例如Llama-3.2-1B-Instruct在实验中准确率从54.38%提升至60.59% [11][23][33] - 预训练实验表明 采用LLM-JEPA的模型在表示学习质量上优于传统方法 下游情感分类任务准确率提升 如rotten_tomatoes数据集从56.57%提升至57.76% [32][33] 应用潜力与局限性 - 方法展现出提升推理与生成能力的潜力 但当前依赖配对数据导致泛化性受限 且训练计算开销为传统方法的三倍 [35][36] - 未来计划通过掩码自注意力等优化降低计算成本 并探索更大规模预训练实验 [35]
AI winner: Wayfair sees a surge of traffic from LLMs such as ChatGPT and Perplexity
Seeking Alpha· 2025-09-19 19:50
公司运营亮点 - Wayfair在通过大型语言模型流量变现方面领先于Jefferies覆盖的其他公司[2] - 公司官网Wayfaircom的推荐访问量中有20%来源于大型语言模型[2]
Canaccord Genuity Raises Doximity Price Target To $67, Maintains Hold
Financial Modeling Prep· 2025-09-19 02:32
公司评级与目标价调整 - Canaccord Genuity将Doximity Inc目标价从59美元上调至67美元 [1] - 公司维持持有评级 [1] 行业技术趋势 - 大型语言模型环境快速变革正在重塑医疗保健技术行业 [1] - 用户信任度对长期成功至关重要 [1] - 用户采用规模和用户采用率仍然重要 [1] 公司竞争地位 - Doximity在人工智能转型早期阶段可能成为领域赢家 [2] - 当前估值水平下维持持有立场 [2]
研报 | 英伟达机器人“新大脑”推升芯片市场规模有望于2028年达4,800万美元以上
TrendForce集邦· 2025-08-26 15:19
文章核心观点 - NVIDIA推出新一代机器人芯片Jetson Thor 其AI算力达前代产品7.5倍 推动人形机器人实现实时感知与决策能力 [2] - 人形机器人芯片市场规模预计2028年突破4800万美元 产业生态圈由Agility Robotics、Boston Dynamics及Amazon等厂商推动建设 [2] - 高阶SoC芯片在人形机器人长期普及阶段发挥关键作用 但短期厂商可能采用平价芯片满足基础需求 [6] 技术规格与产品迭代 - Jetson Thor采用Blackwell GPU架构 配备128GB记忆体 提供2070 FP4 TFLOPS AI算力 [2] - 新一代芯片开发套件定价3499美元 较前代Jetson Orin的1499美元价格提升133% [6] - 芯片算力升级使机器人能即时处理传感器数据与大型语言模型 实现认知与行动一体化 [2] 产业发展阶段 - 短期(当前阶段):人形机器人以试点补位为主要应用模式 [6] - 中期:进入制造业与服务业规模化部署阶段 [6] - 长期:2032年后有望普及至家庭日常场景 全球出货量将突破10万台 [6] 厂商战略与市场需求 - NVIDIA通过软硬件绑定策略提升产品价值 计划推出配套软件平台缩短开发周期 [6] - 产业趋势倾向于降低机器人成本 中短期简单作业场景可采用平价芯片方案 [6] - 国际机器人联合会(IFR)确认各国技术发展路径差异 但阶段性目标一致 [6] 研究机构背景 - TrendForce集邦咨询为全球高科技产业研究机构 覆盖AI机器人、半导体及新能源等领域 [13] - 研究内容包含人形机器人产业季度报告 及新能源车销量年增21%等预测 [11]
BILI Gears Up to Report Q2 Earnings: What's Ahead for the Stock?
ZACKS· 2025-08-20 00:31
财报预期 - 公司将于8月21日发布2025年第二季度财报 预计每股收益为0.17美元 较过去30天前预期提升0.01美元 较去年同期亏损0.09美元实现扭亏[1] - 季度营收预期达10.2亿美元 同比增长20.71%[1] 历史表现 - 过去四个季度中有三个季度盈利超预期 平均盈利惊喜幅度达24.29%[2] 游戏业务 - 受《三国:谋定天下》持续成功驱动 特别是5月31日推出的第八赛季更新带来新地图、新角色及周年庆活动 有效提升年轻SLG用户活跃度与变现能力[3] - 第一季度游戏收入达17.3亿元人民币 同比暴涨76% 预计第二季度延续强劲增长势头[3] 广告业务 - 通过大型语言模型(LLM)精准投放和AIGC创意工具升级广告平台 第一季度效果广告实现超30%同比增长[4] - 算法与产品改进的持续性效应预计推动第二季度广告收入进一步增长[4] 用户生态 - 第一季度月活跃用户达3.68亿 日活跃用户达1.07亿 日均使用时长108分钟[5] - 付费用户规模达3200万 其中大会员用户2350万 超80%采用年费或自动续订模式[5] - 用户忠诚度与规模效应预计推动第二季度增值服务收入增长[5] 成本压力 - 第一季度销售与营销成本因春晚及《三国》推广活动同比增长26%[6] - 第二季度持续投入季节性推广活动 预计对盈利能力和运营杠杆改善形成制约[6] 机构评级 - 公司当前获Zacks第三级(持有)评级 盈利预期差(ESP)为+5.88% 符合盈利超预期的模型组合条件[7] 同业参考 - nCino(NCNO)获Zacks第一级(强力买入)评级 ESP为+3.70% 预计8月26日发布财报[10] - 惠普企业(HPE)获第二级(买入)评级 ESP为+3.45% 预计9月3日发布财报[11] - Okta(OKTA)获第三级(持有)评级 ESP为+2.29% 预计8月26日发布财报[11]
突破Claude-4编程上限!自进化Agent框架拿下新SOTA,底模越好性能越高,已开源
量子位· 2025-08-19 11:13
核心观点 - SE-Agent框架通过自进化机制显著提升大语言模型在复杂推理任务中的表现,在SWE-Bench Verified基准上实现80%的Top-1 Resolution Rate,刷新领域纪录 [2] - 该框架突破传统独立尝试模式,引入集体进化思想,通过修订、重组、精炼三大算子实现轨迹级优化 [6] - 在开源模型测试中表现突出:DeepSeek-V3提升73%至54.8%,Qwen-2-5-72B提升106%至38.8%,Llama-3-1-70B提升112%至32.6% [12] - Claude-3-7-Sonnet应用该框架后解题成功率从40.6%提升至61.2%,相对提升51% [18] 技术架构 自进化机制 - 修订算子:通过多样性初始生成和深度反思修正,消除逻辑不一致和冗余推理 [8] - 重组算子:创新性实现跨轨迹知识共享,包括交叉融合优势基因和知识迁移 [9] - 精炼算子:通过多维度评估函数进行精英选择和多样性保持,实现高效进化收敛 [10] 性能优势 - 解决方案多样性:通过轨迹级干预生成本质不同的解决路径,扩展候选方案空间 [15] - 跨轨迹协同:充分利用轨迹间相互依赖关系,突破单一智能体认知局限 [15] - 模型兼容性:作为独立优化模块可与现有框架无缝集成,在多种LLM上表现一致 [16] 实证表现 基准测试 - 在500个真实GitHub问题的SWE-bench Verified基准上全面评测,所有测试LLM均实现显著提升 [11] - 消融实验证明修订和重组两大模块对框架成功至关重要 [14] 案例研究 - 在scikit-learn案例中,传统方法修复失败率78.6%,SE-Agent通过定位multioutput.py文件关键字段实现根本性修复 [20] - 展示框架如何通过轨迹演化避免"隧道视野",发现隐藏更深的解决方案 [21] 行业影响 - 开创轨迹级优化范式,从参数调整转向系统性推理路径操作 [22] - 验证集体智慧机制是突破单一智能体认知瓶颈的有效途径 [23] - 为构建持续自我改进的智能体系统奠定基础,未来可扩展至强化学习策略发现等领域 [24]
自动驾驶VLA:OpenDriveVLA、AutoVLA
自动驾驶之心· 2025-08-18 09:32
OpenDriveVLA技术分析 - 核心目标是解决标准VLM在处理动态三维驾驶环境时的"模态鸿沟"问题,通过结构化方式让VLM理解3D世界[23] - 采用分层视觉Token提取方法,将BEV特征提炼为Agent Token、Map Token和Scene Token三种结构化视觉Token[25] - 多阶段训练范式包括特征对齐、指令微调、交互建模和轨迹规划微调四个阶段[25] - 在nuScenes开环规划基准测试上取得SOTA性能,平均L2误差0.33米,碰撞率0.10%[10] - 优势在于3D空间接地能力强,可解释性好,能有效抑制空间幻觉[26] AutoVLA技术分析 - 核心哲学是将驾驶任务完全融入VLM的原生工作方式,从"场景解说员"转变为"驾驶决策者"[26] - 创新性提出物理动作Token化,通过K-Disk聚类算法构建包含2048个离散动作基元的动作代码本[29] - 采用双模式思维与监督微调(SFT)结合组相对策略优化(GRPO)算法进行强化学习微调(RFT)[28][30] - 在nuPlan、Waymo和CARLA等多个基准测试上取得顶级性能[20] - 优势在于端到端整合度高,决策策略可通过RL持续优化,性能上限高[32] 技术对比 - OpenDriveVLA专注于感知-语言对齐,AutoVLA专注于语言-决策一体化[32] - OpenDriveVLA采用分层视觉Token提取,AutoVLA依赖模型自身注意力处理视觉信息[32] - OpenDriveVLA自回归生成文本形式坐标点,AutoVLA生成离散动作Token[32] - OpenDriveVLA采用多阶段监督学习,AutoVLA采用两阶段学习(SFT+RFT)[32] - 未来理想模型可能是两者的结合体,采用OpenDriveVLA的结构化感知前端和AutoVLA的动作Token化强化学习后端[34] 行业影响 - 两篇论文共同推动了VLA在自动驾驶领域的发展,描绘了更智能、更可靠的端到端自动驾驶系统前景[33] - OpenDriveVLA为建造摩天大楼打下坚实的地基,AutoVLA则是在坚实地基之上构建摩天大楼本身[36] - 相关技术涉及大模型、VLA、端到端自动驾驶、数据闭环、BEV感知等30+自动驾驶技术栈[38]