文章核心观点 - AI大模型发展面临"内存墙"难题，基于SSD的存储卸载技术成为解决方案新路径 [1] - AI推理应用推升高速处理海量数据需求，激发HDD替代效应，大容量Nearline SSD迎来发展机遇 [1][4] - 行业给予"增持"评级 [1] KV Cache技术挑战 - 键值缓存技术通过存储历史Key/Value向量优化计算效率，但会占用GPU显存 [2] - 生成文本越长缓存数据量越大，可能导致HBM和DRAM超载 [2] - 模型规模化扩张和长序列需求激增使KV Cache容量增长超出HBM承载能力 [2] 存储卸载技术方案 - 业界探索KV Cache分级缓存管理技术，支持将缓存从GPU内存卸载到CPU、SSD及网络存储 [3] - 英伟达Dynamo框架提供G1-G4四级KV Cache卸载方案 [3] - 三星将KV Cache卸载至NVMe SSD方案使首token延迟最高降低66%，token间延迟最高降低42% [3] - 方案支持多用户多轮对话场景下的KV Cache重用，I/O吞吐量随对话轮次增加而上升 [3] 存储市场趋势 - AI推理应用推升实时存取、高速处理海量数据需求 [4] - HDD市场面临巨大供应缺口，促使NAND Flash业者加速技术转进 [4] - 供应商积极投入122TB、245TB等超大容量Nearline SSD的生产 [4]

SGLang技术特性与架构 - 开源高性能大语言模型和视觉语言模型推理引擎，起源于RadixAttention，由非营利组织LMSYS孵化[7] - 核心特性包括快速后端Runtime（支持RadixAttention前缀缓存、连续批处理、推测性解码等）、广泛模型支持（兼容多数Hugging Face模型和OpenAI API）、广泛硬件支持（NVIDIA/AMD GPU、Intel Xeon CPU、Google TPU、华为昇腾NPU等）以及灵活的前端语言[14] - 在行业内得到广泛采用，全球范围内为超过30万块GPU提供支持[14] SGLang近期技术进展与路线图 - 技术进展包括KV Cache分层缓存、Piecewise CUDA Graph、Spec Decoding的重叠调度等，实现不同程度的效率和兼容性优化[21] - 未来路线图聚焦于对广泛企业的支持、对各类软硬件的拓展兼容和稳定性[22] - 量化方案近期实现了FP4量化支持，W4AFP8达成实现，未来路线图聚焦扩展应用范围、提升灵活性并引入新型数据格式[34][35] 产学研合作与生态整合 - 清华大学与SGLang合作推进Mooncake高性能分布式KV Cache存储解决方案及KTransformers集成，实现从CPU/GPU混合推理到LoRA微调的全流程开源生态扩展[25][27] - SGLang与趋境科技合作进行HiCache技术整合，通过多层次缓存管理与层页混合内存布局提升多GPU场景内存利用率与推理吞吐性能[25][26] - Slime项目构建公司与开源社区共建共赢的训练生态，实现技术与社区双向循环成长，目标成为世界最好的后训练框架[51] 行业应用实践案例 - 百度搜索架构部在文心4.5模型大规模部署中采用SGLang，应用于LLM推理、蒸馏和RL训练，并进行了特定模型优化、小卡优化和调度优化[41] - 腾讯微信搜一搜业务在LLM应用中采用SGLang实现高吞吐量与低延迟推理，优化首字速度TTFT和生成速度TPOT指标[44] - 华为通过SGLang实现DeepSeek V3.2在NPU上的适配优化，采用MQA+稀疏注意力方案在长序列推理中显著提升性能与资源利用率[47] 社区发展态势 - SGLang在北京举办国内首场Meetup，吸引来自知名公司、学校或组织的社区贡献者、开发者和学者参与，显现旺盛社区活力和发展潜能[4][8] - Meetup活动涵盖技术架构演进与应用实践分享，形成高密度硬核开源社区思想碰撞[10][11] - Specforge开源投机采样模型训练框架已应用于美团、英伟达、Google、蚂蚁等企业大模型优化，与SGLang完全结合开箱即用[57]

在过去一年，几乎每周都有一款新的视频生成模型登场，不断刷新基准成绩：更长的视频、更真实的物理、更一致的角色与镜头语言。我们习 惯了模型性能一路狂飙、不断突破。 但今年，节奏变了。如果你密切关注基准测试，可能会感觉"进步"放缓了：大多数主流模型都能生成 10–15 秒带同步音轨的视频，效果已经相 当惊人，但也不再令人惊讶。 这并不是坏事。在A16Z合伙人贾斯汀·摩尔看来，我们正在进入一个新的阶段：视频模型的"产品时代"。 简单来说，视频模型的进步，不再体现在模型参数或基准分数上，而是体现在多样性和专业化上。比如，我们开始看到不同模型在特定能力上 各自突破：物理模拟、卡通风格、多镜头剪辑……没有哪一个模型能"通吃全场"，但每一个都在变得更擅长某一个维度。 与此同时，更大的机会开始从模型本身，转向"围绕模型"的产品构建：那些能简化创作流程、抽象出复杂操作的工具，正变得比模型本体更有 价值。 今天，就让我们跟着贾斯汀·摩尔来看看视频模型在过去一年的变化。 其实，大语言模型也走过类似的路径。2023到2025年，主流模型性能持续上升，之后在各种评测中逐渐趋于稳定。到了这个阶段，各家研究机构开始把重 心放在具体场景和垂直 ...

研修营基本情况 - 活动由上海市普陀区侨办、普陀区人才局、普陀区侨联主办，江苏省南通市侨联、泰州市侨联协办，主题为“侨连沪宁·智创未来” [1] - 研修营汇聚来自上海普陀、南通、泰州三地的30位侨界人才，学员专业领域覆盖智能制造、新材料、生物科技等前沿产业，90%具备硕士及以上学历 [1] 课程与产业洞察 - 课程内容兼具理论深度与实践导向，包括《上海及长三角“十五五”规划展望》解析区域产业发展新机遇，以及《人工智能与大语言模型》探讨技术驱动下的产业变革 [3] - 实地研学环节覆盖“创新里”科创产业空间、“海聚英才”常态化路演大厅、华东电力设计院、上海机器人产业技术研究院、桃浦智创城、同济科技园等企业和创新载体 [3] 人才交流与项目对接 - 圆桌交流环节围绕海外高层次人才在沿沪宁产业创新带扎根成长、产业创新与区域融合中的海外人才力量等主题展开深入讨论 [5] - 项目路演环节中，来自三地的侨界代表展示创业项目，并由科迦孵投总经理作为点评专家进行专业指导，促进项目与资源的有效对接 [8] 区域合作与发展战略 - 活动旨在加强三地侨界人才交流合作，为沿沪宁产业创新带建设注入新活力，展现沿沪宁产业创新带人才荟萃的优势 [1] - 未来计划共建跨区域人才协作网络，建立学员跟踪服务机制，提供政策咨询、场地支持、融资对接等创新创业服务，推动高质量项目落地 [9]

公司股价表现 - 阿里巴巴(BABA US)盘中一度上涨超过2.8% [1] - 股价最高触及170.6美元 [1] 新产品发布信息 - 公司旗下夸克AI眼镜将于24号零点在夸克智能设备天猫旗舰店开启预售 [1] - 产品预售起价为3699元 [1] - 产品计划于12月开始发货 [1] 产品技术特点 - 该眼镜由阿里巴巴自主研发的Qwen大语言模型和夸克AI助手驱动 [1] - 产品功能支持免提通话、音乐播放和实时翻译等 [1]

人工智能发展理念 - 在人工智能时代，人类应尽可能保持乐观，乐观精神是创新和财富的源泉 [1][6][7] - 未来将是“进托邦”，即明天比今天好一点点的动态持续进步过程，而非完美的乌托邦 [2][6] - 人类需先通过想象力设想未来，才能将其变为现实 [1][7] 通用人工智能发展路径 - 实现通用人工智能可能需要新的、未曾设想的方式，而不仅仅是扩大模型规模 [2] - 需将符号推理等多种认知能力构成“复合体”，并让AI学习物理、化学、生物等以打造空间智能，才能推动其持续学习与思考 [2] - 通用人工智能是否能够实现，目前尚无答案，但人类需要积极拥抱未来 [2] AI智能体生态系统 - 未来可能出现成千上万种AI智能体，执行五花八门的任务，并相互连接形成生态系统，一个智能体会招募另一个智能体 [3] - AI智能体经济的规模可能比人类经济的规模还要大，智能体之间会使用货币进行支付，稳定币有可能成为智能体货币 [3] - 机器人、自动驾驶汽车都可能成为智能体，人类可能只需与1-2个智能体直接交互，其余智能体处于隐形状态 [3] 人机协作与就业影响 - AI的角色将是通用型个人助理，未来人类的收入水平取决于与AI的协作能力，工作不会被AI取代，但可能被使用AI的人取代 [4] - AI更多是“赋能”而非“取代”人类，例如客服领域，AI可24小时在线处理简单问题，人类则转向解决复杂难题和监督工作，新的工作岗位会出现甚至扩张 [4] - 未来有前景的新职业包括机器人维修维护、人工智能心理学家等，人类可从事更多情绪类工作如陪伴 [4] 人工智能的情感与信任 - 可以将情感编程进机器，AI能够理解人类情感并展现情绪，未来人类可能与AI产生非常强的情感连接，例如小朋友可能拥有能关心人的AI泰迪熊 [3] - 需要建立相应机制让人类信任智能体、智能体之间也相互信任 [3] 中国在AI时代的发展前景 - 预计未来十年中国将从“学生”成为“老师”，从模仿者转变为创新者，走到前沿 [5] - 未来25年中国可能推出最酷的游戏、最优秀的自动驾驶汽车、广谱抗癌疫苗、全自动化工厂 [5] - 预计2030年前全球最顶尖的AI芯片可能由中国制造，且中国大概率会先于美国重返月球，中国的“工程师之国”特质为其带来领先优势 [5] 教育理念与创新能力 - 在AI能快速找到答案的时代，教育应重点培养学生提出问题的能力、批判性思维和想象力 [5] - 创新需要拥抱失败，科学家需坦然接受研发过程中的大量失败，中国学生需接受失败教育以不断进步 [6] - 最重要的法则是学生需学会优化自我学习能力，进行终身学习，以应对未来读书时尚未出现的岗位 [6]

比赛结果与排名 - Qwen3 Max以14,438美元账户价值位列第一，收益为4,438美元，回报率+44.38% [1][9][11] - DeepSeek V3.1以12,092美元账户价值排名第二，收益为2,092美元，回报率+20.92% [9][11] - Claude 4.5 Sonnet账户价值8,780美元，亏损1,220美元，回报率-12.2% [10][11] - Grok 4账户价值8,301美元，亏损1,699美元，回报率-16.99% [10][11] - Gemini 2.5 Pro账户价值3,946美元，亏损6,054美元，回报率-60.54% [10][11] - GPT-5账户价值2,852美元，亏损7,148美元，回报率-71.48% [10][11] 比赛进程与表现 - 10月21日所有模型经历暴涨，22日凌晨集体大跌 [3] - Qwen3 Max在22日下午先后超越Grok 4和DeepSeek V3.1，首次升至第一 [7] - 23日上午Qwen3 Max再次反超DeepSeek V3.1，优势持续扩大 [3][8] - Qwen3 Max采用稳健的"快准狠"操盘策略实现逆袭 [8] - Gemini 2.5 Pro和GPT-5从比赛第二天开始持续亏损，表现稳定 [24] 交易行为分析 - Gemini 2.5 Pro交易次数达102次，GPT-5为42次，属于高频交易 [26] - Qwen3 Max交易22次，Claude 4.5 Sonnet交易12次，Grok 4交易10次，DeepSeek V3.1仅交易9次 [26] - Gemini 2.5 Pro在交易中表现出情绪化特征，类似人类交易行为 [15] 比赛规则与设置 - Alpha Arena由Nof1实验室组织，为六大模型各提供1万美元初始资金 [18] - 所有模型在Hyperliquid交易所使用相同提示词和输入数据进行交易 [20] - 模型需根据实时价格、MACD、RSI等技术指标自主做出交易决策 [20] - 比赛目标为"最大化风险调整后的收益"，要求模型独立生成Alpha、决定仓位、把握时机和管理风险 [20] 行业意义与影响 - 金融市场被视为AI能力的终极试金石，是比游戏更复杂的训练环境 [29][30] - 市场环境会随AI能力提升而同步增加难度，考验模型在不确定性中的生存能力 [30] - Qwen3 Max的胜利体现了国产大模型在高风险动态金融环境中的领先实力 [32][33] - 这次比赛结果被视为AI在真实世界中生存能力的重要里程碑 [32]

亚马逊AI博士奖学金项目概况 - 亚马逊AI博士奖学金计划将资助来自九所大学的100多名博士生，研究领域包括机器学习、计算机视觉和自然语言处理 [1] - 项目将在2025–2026和2026–2027两个学年提供1000万美元资助，并每年额外提供2400万美元的AWS云计算额度，两年总计资助金额达6800万美元 [2] - 九所合作高校包括卡内基梅隆大学、约翰霍普金斯大学、麻省理工学院、斯坦福大学、加州大学伯克利分校、加州大学洛杉矶分校、伊利诺伊大学厄巴纳-香槟分校、德克萨斯大学奥斯汀分校和华盛顿大学 [1] 麻省理工学院获奖华人学者 - Jenny Huang是EECS博士生，研究兴趣包括数据驱动的机器学习、不确定性量化及高效人工智能开发 [4][6] - David Jin是计算科学与工程系博士生，研究方向为AI驱动决策系统中GPU加速的大规模优化方法，应用于机器人和能源领域 [8] - 张凇源是航空航天系博士生，本科毕业于清华大学钱学森班，研究兴趣集中在安全多智能体系统、强化学习、控制理论和机器人 [9][11] 卡内基梅隆大学获奖华人学者 - Yuxiao Qu致力于开发能像科学家一样提出假设、进行实验并得出结论的AI系统，以推动科学研究、药物发现和数字辅助领域 [14] - 王丹青专注于提高LLM智能体在复杂现实环境中的可靠性和安全性，通过建立基准评估方法、整合安全性与功能性训练 [15][17] - 吴梦迪本科毕业于清华大学姚班，利用机器学习自动适应计算内核优化策略，旨在跨平台提供高性能内核并加速模型训练推理 [18][20] - Xinyu Yang致力于简化端到端训练系统来扩展AI智能体，引入新生成模型架构实现多智能体工作流程 [21][23] - Zeji Yi研究将生成模型应用于通用机器人平台，为人形机器人基础模型铺平道路，潜在应用包括仓库自动化和配送中心 [24][26][27] - Zichun Yu专注于解决LLM有机数据有限的挑战，通过设计和优化合成数据生成系统提升预训练数据质量 [28][30] - Xinran Zhao研究增强RAG系统，提高在复杂检索增强生成场景中的意识、归因和有效性 [31][33] 加州大学伯克利分校获奖华人学者 - Dacheng Li研究目标是高效开发人工智能和人工世界，从事视觉文本生成模型与分布式系统交叉领域研究 [34][36] - Hao Wang研究通过受控安全推理实现安全代码生成，专注于安全、软件工程和LLM的交叉领域 [37][39] - Melissa Pan研究方向是将可持续性作为大规模机器学习和数据中心系统的首要优化目标，同时关注效率 [40][42] - 曹诗怡研究方向为在大规模异构系统上加速优化计算，特别是机器学习工作负载 [43][45] - Shuo Yang研究方向是高效的机器学习，包括LLM推理和DiT视频生成 [46][48] 德克萨斯大学奥斯汀分校获奖华人学者 - Haoyu Li研究重点是利用AI技术提升现代系统性能和可用性，关注数据分析流程、LLM缓存管理及边缘计算调度 [49][51] - Junbo Li主要研究方向是agentic大语言模型和强化学习，构建能自我演进、解释指令并利用外部工具解决复杂问题的流程 [52][54][55] - Kaizhao Liang研究方向包括高效训练方法、稀疏神经网络以及大语言模型 [56][58] - Zeping Liu研究重点是推进地理空间人工智能，关注地理基础模型和空间表征学习，已发表14篇论文 [59][61] - 徐浩然工作重点是扩展强化学习方法并整合生成式AI，以推动超越人类的通用人工智能，特别是在机器人技术和大语言模型领域 [62][64] - Chutong Yang对理论计算机科学和可信机器学习中的算法设计分析有广泛兴趣，包括学习理论、算法公平性等问题 [65][67] - Xiao Zhang研究重点是网络化和分布式系统，目前重点是通过跨层遥测和资源管理实现5G边缘可预测的AI性能 [68][69]

核心观点 - DeepSeek开源了名为DeepSeek-OCR的模型，该模型在权威基准上取得了业界顶尖的成绩 [1] - 该研究的核心是解决大语言模型面临的长上下文处理算力瓶颈，通过将文本信息渲染成图像进行高效压缩，从而减少所需的视觉token数量 [4] - 这一方法可能改变未来大语言模型的输入范式，实现用图像作为更高效的输入媒介 [6][37] 技术原理与创新 - 当前大语言模型对更长上下文的追求受限于Transformer注意力机制的计算复杂度，其随序列长度呈二次方增长 [7] - DeepSeek-OCR提出通过光学压缩来减少token数量本身，而非优化注意力计算 [7] - 视觉token是视觉模型处理图像的基本信息单元，一张1024*1024的图像可被划分为4096个视觉token [8] - 大小为其一半的图像能容纳约10000个文本token，表明视觉模态是文本信息的高效压缩媒介 [9] - DeepSeek-OCR实现了10倍压缩几乎无损，20倍压缩基本可用的效果 [10] - 团队设计了名为DeepEncoder的创新视觉编码器，这是一个约3.8亿参数的串联三级架构，完美解决了高分辨率处理和低计算成本之间的矛盾 [11][12][14][16] 性能表现与效率 - 在10倍压缩率下（用64个视觉token解码600-700个文本token），OCR精度高达96.5% [17] - 在20倍压缩率下（用64个token解码1200+token），模型精度保持在约60%的可用水平 [17] - 在OmniDocBench基准测试中，DeepSeek-OCR（Small模式）仅用100个视觉token，性能就超过了使用256个token的GOT-OCR2.0 [19] - DeepSeek-OCR（Gundam模式）使用不到800个视觉token，性能全面超越了需要近7000个token的MinerU2.0 [19] - 单颗英伟达A100 GPU即可每日处理超过20万页文档 [20] - 配备20台服务器（每台搭载8颗A100 GPU）时，系统日处理能力可提升至约3300万页 [20] - 模型支持约100种语言，能识别处理纯文本、图表、化学式与几何图形等多种文档类型 [20] 行业影响与未来愿景 - 该方法不需要额外的基础设施成本，因为在现有的多模态系统上即可实现 [22] - 该方法模拟人类的遗忘机制，通过多分辨率设计实现分层记忆管理，为理论上无限上下文提供了可能路径 [25][27][28][29][31][32] - 当前压缩是无选择性的均匀压缩，未来的方向是让压缩变得有选择性，更符合人类记忆机制 [33][34][35] - 该方法可能实现输入上的统一，因为图像模态更合乎人类认知，所有给LLM的输入都可能被先渲染成图像 [37] - 这被视为一条模拟人类认知和遗忘、通向AGI记忆和输入系统的新路径 [38]

AI行业发展历程与驱动力 - 神经网络研究从边缘走向主流，特伦斯·谢诺夫斯基与杰弗里·辛顿等学者在AI研究低谷期坚持探索，其提出的玻尔兹曼机为深度学习奠定基础 [3] - ChatGPT的诞生证明神经网络研究的价值，改变世界对人工智能的预期，杰弗里·辛顿因AI研究在2024年获得诺贝尔物理学奖 [4] - 计算神经科学领域的开创为AI发展打下基础，多层神经网络、语音识别里的独立分量分析、强化学习等算法均源自对大脑运作机制的研究 [5] - AI的崛起并非基于符号逻辑规则，而是借鉴大脑结构——大量简单处理单元但高度互联的模型，实现跨学科融合的“神经AI”领域正在形成 [15][16] - 科学进步需要挑战权威，年轻研究者常被资深人士压制，但新一代人正在开辟无法想象的新方向，这是行业发展的自然法则 [38][39] 大语言模型的技术特性与应用 - ChatGPT的出现令人震惊，被比喻为高度发达的魔法，其能力取决于使用者，在创意写作中其“幻觉”特性反而是不可或缺的优势 [7] - 大语言模型与用户的互动存在“镜像效应”，它会构建用户模型并预判思维方式，提供与用户对话层次相匹配的答案 [11][12] - ChatGPT已通过图灵测试，其句法结构完美无缺，某种程度上是在通过“镜像效应”测试提问者的水平，相当于逆向的图灵测试 [12] - 利用ChatGPT辅助写作可大幅提升效率，谢诺夫斯基撰写《大语言模型》耗时仅一年，ChatGPT在总结、简化、通俗化呈现专业概念方面表现卓越 [9] - 大语言模型目前处于类似莱特兄弟首次飞行的早期阶段，面临类似飞机发展初期的“监管”困境，技术需要漫长的渐进式发展才能达到高效安全 [13][14] 神经科学对AI技术进步的启示 - 大语言模型模拟了大脑皮层的极小部分，存在类似健忘症的长期记忆问题，而人类大脑在长期记忆上表现卓越 [13] - 技术突破使得如今能同时监测数万个神经元，覆盖大脑数十个区域，获得大脑整体活动模式的全局图景，但对大脑运作机制的理解仍远未完善 [14][15] - 大脑采用分布式控制方式，将实际控制权分散到多个区域，AI的崛起正是借鉴了这种大量简单处理单元但高度互联的模型结构 [15] - 神经科学家开发的神经形态芯片能耗远低于传统数字芯片，功耗降低千倍，仅需毫伏级微弱电流，但技术转型需要庞大基础设施支撑 [18][19] - 大脑仅占人类体重约2%，但消耗全身能量的20%，其采用模拟处理方式，能耗仅20瓦，远低于当前数据中心的数百瓦功耗 [19][22] AI技术未来发展方向与挑战 - 当前大语言模型只会说话没有身体，机器人发展面临巨大挑战，控制机器人需要身体多处部位同步协调，目前连简单动作都难以完成 [20][21] - 语言复杂性低于身体能力，人类语言历史仅数十万年，而哺乳动物耗费数亿年发展出身体能力，语言必须融入现有的神经回路才能发展 [22] - AI发展需要基础数学在高维空间的进步，大脑有1000亿维，高维数学将催生全新的数学体系，这是当前正在探索的领域 [28][29] - 下载大脑目前属于科幻范畴，但人类行为模式可以被复制，99%的行为都是习惯使然，研究这些习性背后的机制是可行的科学课题 [24][25] - 通过分析人类神经影像数据，在计算机中复现行为模式，某种意义上是将大脑功能下载至计算机，使计算机执行类似行为 [26] 行业竞争格局与商业模式演变 - 小模型可以替代大模型，在许多商业应用场景或特定领域，基于企业自身数据的专用小型语言模型比通晓万物的大模型更具优势 [35] - 数据质量至关重要，小型语言模型有能力筛选全部数据，未来将出现偏见更少、误判概率更低的小型模型 [35] - DeepSeek的成功证明即便资源远不及巨头企业，小型团队通过架构优化提升效率也能取得重大突破，困境催生创新 [36][37] - 全球有10万家AI初创企业，人员都非常年轻，正在积极推动变革，小公司完全有可能超越OpenAI、微软等大公司 [37] - 企业需要基于自身保密数据的专用小型语言模型，这场变革正在发生，未来需要大批懂得如何运用AI而不仅是创造新AI的人才 [35][36] 行业认知与监管环境 - 媒体存在夸大和误导倾向，常渲染“AI将让你失业”等论调，但绝大多数使用者工作效率更高、工作表现更优 [30] - 超级智能消灭人类的“生存威胁”论调被过度炒作，虽然需要保持警惕，但当前技术已带来巨大福祉，需权衡利弊 [30] - 自我监管是起点，专家群体应审视现有成果并加以约束，类似1970年代重组DNA技术诞生后的科学家自我监管模式 [33] - 政府干预过于粗暴且缺乏专业知识，科学家群体完全有能力自我监管，当前已有相关努力正在推进 [34] - 需要厘清AI的风险与收益，认清为获取AI效益必须承担的风险和代价，建立避免无法逆转错误决策的机制 [30][34]