Workflow
大语言模型
icon
搜索文档
DeepSeek悄悄上线新模型
21世纪经济报道· 2025-10-30 18:42
核心观点 - DeepSeek发布全新多模态模型DeepSeek-OCR,其核心技术“上下文光学压缩”通过将文本作为图像处理,实现7-20倍的token压缩,理论上可实现无限上下文,并可能为光计算芯片进入大语言模型领域铺平道路 [1][3][4][5] 技术创新与原理 - 模型提出“上下文光学压缩”技术,将文本作为图像处理以实现高效信息压缩,例如一页文本通常需要2000-5000个文本tokens,转换为图像后仅需200-400个视觉tokens,实现7-20倍压缩 [3] - 在10倍压缩时保持97%解码精度,20倍压缩时仍有60%精度,该技术模拟人脑遗忘机制,通过将历史上下文渲染成图像并随时间降采样,模拟“近期信息高保真、远期信息自然褪去”的生物遗忘曲线 [3][4] - 技术能大幅降低数据分割和组装操作次数,从而降低整体计算负荷,降低对后端计算硬件在规模和精度上的直接压力 [4] 对光计算产业的潜在影响 - DeepSeek-OCR技术解决了光计算引入大模型的最大问题——序列上下文过长,其视觉编码器部分非常适合由光学协处理器执行,而文本解码部分仍由电子芯片处理,记忆压缩可完全交给光计算芯片实现最优分工 [5] - 光计算芯片利用光速传输、高并行性和低功耗特性,被誉为“后摩尔时代”潜力技术,该模型为光计算高并行性和低功耗优势发挥提供了明确技术路径 [1][5] - 光计算芯片目前处于产业化早期,主要需解决先进光电融合封装和软件生态成熟度问题,业内预计距离在数据中心与GPU同台竞技还需3-5年时间攻克工程、成本和生态难题 [6][7] 产业参与者和进展 - 国内主要光计算参与者包括曦智科技、图灵量子、光本位等公司,国外有Lightmatter、Lumai、Cerebras Systems等厂家 [6] - 图灵量子已围绕薄膜铌酸锂开展全流程研究并实现规模化量产,具备从设计、版图、流片、测试到封装的完整能力 [7]
英伟达的“10倍股历程”:3年前市值4000亿美元,如今“全球首家五万亿”
华尔街见闻· 2025-10-30 17:33
公司市值里程碑 - 英伟达市值正式突破5万亿美元大关,达到5.03万亿美元,成为全球首家达到此里程碑的公司 [1][2] - 公司市值超越了AMD、Arm、ASML、博通、英特尔、拉姆研究、高通和台积电市值的总和,甚至超过了标普500指数中的公用事业、工业和消费必需品等整个行业的体量 [4] - 公司当前体量已超过德国、法国和意大利主要股指市值的总和 [5] 股价增长轨迹 - 过去六个月里,英伟达股价上涨了约90% [5] - 三年前公司市值约为4000亿美元,在ChatGPT发布后几个月内便突破1万亿美元大关,增长步伐不断加速 [9] - 公司增长速度超过苹果和微软,后两者在本周才首次收于4万亿美元市值之上 [11] 业务需求与订单支撑 - 公司设计的GPU是驱动整个人工智能产业的引擎,是整个AI交易的基石 [12] - 公司去年发布的Blackwell芯片已出货600万片,另有1400万片的订单在手 [13] - 公司预测2026日历年芯片销售额将远超3000亿美元,高于华尔街普遍预期的2580亿美元 [13][14] - 巨大需求主要来自大型科技公司,它们正投入巨资建设运行AI模型所需的数据中心基础设施 [15] 市场审视与估值水平 - 一些投资者和行业分析师开始将当前AI股票的涨势与本世纪初的互联网泡沫相提并论 [16] - 公司股价约为其明年预期收益的33倍,而标普500指数的平均市盈率约为24倍 [16] - 科技公司正投入数千亿美元用于数据中心和芯片开发,并为此背负沉重债务,但目前产生的收入相对较小 [16]
AI破晓前,最早动身的人
投资界· 2025-10-30 16:36
中国AI产业路径演变 - 中国经济结构处于"腾笼换鸟"阶段,科技驱动成为新主线,代表"新质生产力"的"三新"经济占比稳步提升[7] - 中国AI创业者依托活跃的开源生态、庞大多元的应用场景与完整供应链,凭借高性价比硬件和智能体能力竞争,呈现与美国闭源高成本模式"双轨并行"之势[7] - DeepSeek以"高性能、全开源"路径出圈,证明中国AI可在全球范围做Tier 1竞争者,改变战局走向[8] 蓝驰AI投资五大趋势 - 国内以开源为主的大语言模型开发策略形成"飞轮效应",通过开源模式降低单位成本,提高采用率,加速模型迭代[9][10] - 强化学习日臻重要,拓展大语言模型的智能范围和密度,实现从"图书馆学习"到"实践中学习"的转变[10] - Agentic System具备自主性并释放基础模型潜力,帮助利用基础模型力量交付结果而不只是答案[10] - AI Coding能力外溢成为推动个性化应用爆发式增长的重要因素[10] - 多模态技术推动各类人工智能应用蓬勃发展[10] 蓝驰AI投资版图布局 - 投资版图覆盖模型及应用层、具身智能、AI硬件、底层基础设施,包括月之暗面、智元机器人、VITURE、PPIO等头部项目[5][14] - 2023年参与月之暗面A1轮融资,关键决策依据是创始人杨植麟的人才密度,其新模型"Kimi K2"被Nature评价为"另一个DeepSeek时刻"[13] - 2024年1月出手GenSpark天使轮,其24人团队发布新功能Super Agent后45天内创下3600万美元ARR[13] - 重注具身智能赛道,2023年投资银河通用机器人和智元机器人,2024年联合领投它石智航1.2亿美元天使轮创行业纪录[15] 科技投资策略与生态建设 - 投资策略基于对"什么在驱动人工智能底层变革"的整体思考,真正机会在于比别人更早看清结构性变化[17] - 坚持"押头部、投最前沿"策略,在月之暗面A1轮第一个给出TS,在银河通用、智元机器人等项目早期投资多轮加注[17] - 推出创业者生态品牌"不鸣Booming",打造创业DAO生态,其中不鸣创业营录取率仅9%[18] - 顶尖华人技术人才回流趋势明显,新一代创业者年轻、高学历、成就卓越且具有全球化视野[15]
DeepSeek“悄悄”上线全新模型,或触发硬件光计算革命
21世纪经济报道· 2025-10-30 13:54
技术突破 - DeepSeek发布全新多模态模型DeepSeek-OCR,其核心构件视觉encoder的高效解码为光计算和量子计算在LLM领域的引入提供了明确技术路径[1] - DeepSeek首次提出“上下文光学压缩”技术,通过将文本作为图像处理实现信息高效压缩,理论上可实现无限上下文,模拟人脑遗忘机制[2] - 将文本作为图像处理可实现7-20倍的token压缩,一页文本通常需要2000-5000个文本tokens,转换为图像后仅需200-400个视觉tokens,10倍压缩时保持97%解码精度,20倍压缩时仍有60%精度[2] 技术原理与应用 - 通过将多轮对话中的历史上下文渲染成图像实现LLM Memory遗忘机制,近期对话保持高分辨率文本形态,更早历史被压缩成图像并随时间逐步降采样[3] - 该技术将文本渲染为图像后作为视觉信息处理,大幅降低数据分割和组装操作次数,从而降低整体计算负荷和对后端计算硬件在规模精度上的压力[3] - 该模型同样可以减少光电转化次数,更有效发挥光计算高并行性和低功耗优势,预计很快会有光计算芯片结合大模型应用出现[1][3] 硬件革命机遇 - DeepSeek-OCR技术为光计算芯片进入大语言模型领域铺平道路,光计算芯片利用光速传输、高并行性和低功耗特性,被誉为“后摩尔时代”潜力技术[3] - 光计算核心优势是以极高速度和极低功耗执行特定计算,如图形处理中的傅里叶变换和大规模并行处理,DeepSeek-OCR解决了引入光芯片的最大问题即序列上下文过长[4] - DeepSeek-OCR的DeepEncoder部分适合由光学协处理器执行,文本解码部分仍由电子芯片处理,记忆压缩可完全交给光计算芯片实现最优分工[4] 产业现状与挑战 - 光计算芯片目前仍处于产业化早期,受技术、制造、生态等多种边际条件制约[4] - 光芯片需要解决先进光电融合封装问题,确保光源、芯片和探测器件高效集成并与电子控制单元稳定协作,同时整个光计算软件生态还不够成熟[5] - 光计算芯片已进入产业化早期车道,但距离在数据中心与GPU同台竞技可能还需要3-5年时间攻克工程、成本和生态难题[5]
一年狂卖十几亿人民币,这家深圳南山公司成了AI硬件黑马
新浪财经· 2025-10-30 10:33
智通财经记者 | 梁宝欣 智通财经编辑 | 林腾 Plaud的首款产品—Plaud note,是一款厚度仅0.29厘米的卡片式录音设备,可磁吸在iPhone背面,支持会议 与通话场景下的即时录音,解决了苹果手机无法在通话中录音的痛点。 更关键的是,Plaud是首批将大语言模型引入录音产品的公司。据了解,在推出Plaud note之前,许高曾推 出过另一款AI录音笔—iZYREC,这款产品体积比AirPods充电舱还小,但彼时还未有大模型技术支撑,仅 能依靠传统自然语言处理(NLP)实现基础转写。 在AI硬件经历激烈分化的2025年,Plaud(深圳机智连接科技有限公司)成为少数跑通商业化闭环的创业公 司。 这家成立不足四年的深圳企业,以AI录音产品为核心切入市场。自2023年6月推出首款卡片式AI录音设备 Plaud Note起,产品连续两年保持约十倍增长。截至今年7月23日,Plaud已将产品销往全球170个国家,累 计出货量突破100万台。 Plaud联合创始人许高在今年9月的一次公开访谈中提到,2025年的总收入,预计能达到2.5亿美元。这一收 入包括硬件产品,以及搭载其上的AI软件Plaud Inte ...
中移动九天团队MultiPL-MoE:全新Hybrid-MoE架构用于增强通用大模型低资源代码能力
机器之心· 2025-10-30 09:41
核心观点 - 中国移动九天团队提出创新性Hybrid MoE架构MultiPL-MoE,旨在解决大语言模型在有限计算资源下提升多编程语言代码生成能力时面临的挑战,特别是低资源语言性能差与高资源语言灾难性遗忘问题[2][4] - 该架构通过耦合token-level和segment-level两层专家选择机制进行优化,在HumanEval和MBPP基准测试中显示出显著进步,有效提升了低资源语言的性能并缓解了灾难性遗忘[2][19] - 该项研究已被EMNLP 2025接收,相关论文和代码已公开[3] 方法与架构 - MultiPL-MoE是一种混合MoE结构,结合了token-level MoE和segment-level MoE[4][7] - Token-level MoE采用配备共享专家及新颖门控权重归一化方法的稀疏MoE,以实现与段落层级专家的高效协同并解决规模不匹配问题[2][7][8] - Segment-level MoE创新性地引入滑动窗口划分与专家选择路由策略,使模型能够精准捕捉不同编程语言的语法结构与深层上下文模式[2][7][9] - 最终输出为token-level MoE和segment-level MoE输出的加权融合[13] 实验结果 - 在HumanEval基准测试中,MultiPL-MoE(激活参数3.5B,总参数10.8B)在六种语言上的平均得分为10.8,显著高于基线模型Qwen1.5(1.8B参数)的7.4分[19][20] - 在MBPP基准测试中,MultiPL-MoE平均得分为15.0,高于Qwen1.5的10.0分,尤其在低资源语言Rust上从基线的4.5分提升至16.1分,Go从8.5分提升至17.3分[19][20] - 实验结果表明该方法显著增强了模型在低资源编程语言上的性能,同时有效缓解了高资源编程语言中的灾难性遗忘问题[19]
AI 赋能资产配置(十九):机构 AI+投资的实战创新之路
国信证券· 2025-10-29 15:16
核心观点 - 大语言模型正将海量非结构化文本转化为可量化的Alpha因子,从根本上拓展了传统投研的信息边界[1] - 从大语言模型的信号提取、深度强化学习的动态决策到图神经网络的风险建模,AI赋能资产配置的全链条技术栈已具备现实基础[1] - AI正从辅助工具转向决策中枢,推动资产配置从静态优化迈向动态智能演进,重塑买方的投研与执行逻辑[1] - 头部机构的竞争已升维至“AI原生”战略,其核心是构建专有、可信且能驾驭复杂系统的AI核心技术栈[2] - 对国内资管机构而言,破局之道在于战略重构与组织变革,走差异化、聚焦式的技术落地路径[3] AI技术对资产配置范式的重塑 大语言模型的应用与挑战 - 大语言模型凭借自注意力机制能够精准捕捉词汇在句子中的复杂关系与上下文含义,实现更精准的金融情绪判断,将投资分析从数字领域拓展至语义领域[11][12] - 金融专用大语言模型的开发遵循预训练加微调的两步范式,业界已开发出BloombergGPT(500亿参数)、FinGPT、FinBERT与FinLlama等专用模型[13] - 大语言模型可直接为算法交易系统提供情绪信号,并实现7×24小时不间断监控全球信息流以识别潜在风险早期信号[14] - 大语言模型应用面临数据偏见与模型幻觉、高昂计算成本、可解释性难题等挑战,金融专用大语言模型的竞争正演变为围绕专有数据与微调专业知识的军备竞赛[15][16] 深度强化学习的革新价值 - 深度强化学习采用“智能代理”与“环境”交互的学习范式,目标是在长期内实现最优回报的决策策略,而非一次性精准预测[17][18] - 主流深度强化学习算法包括演员-评论家方法、近端策略优化和深度确定性策略梯度,其中深度确定性策略梯度专为连续行动空间设计,非常适合投资组合管理任务[19][20] - 深度强化学习面临数据依赖与过拟合风险、市场周期适应性难题、高昂计算成本以及现实世界约束整合等发展瓶颈[21][22] 图神经网络的风险建模能力 - 图神经网络将整个金融系统抽象为网络,其中“节点”代表金融机构,“边”代表它们之间的相互关联,能够捕捉风险通过网络进行“传染”的动态过程[23] - 图神经网络通过“消息传递”机制让每个节点聚合其邻居节点信息,从而感知其在网络中的局部和全局环境,为监管部门提供强大的压力测试模拟工具[24][25] - 图神经网络可帮助投资者识别高度关联的“公司集群”,构建更有效的投资组合对冲策略,实现对整个“社区”风险的对冲[26] 头部资管机构的AI实践 贝莱德的AlphaAgents系统 - AlphaAgents系统通过模拟人类投资委员会的“协作与辩论”机制,设立基本面分析、情绪分析和估值分析三个具有明确角色分工的AI智能体[30][31] - 系统选择GPT-4o作为核心模型,在事实分析基础上进入对抗性辩论与共识辩论环节,通过多轮讨论直至所有智能体达成一致共识[31][33] - 回测实验显示,在风险中性策略下,多代理投资组合的累计回报和夏普比率显著优于所有单代理组合及市场基准,而在风险规避策略下成功实现了规避下行风险的策略目标[34][35] - AlphaAgents代表了人机协作模式的根本性升级,其多智能体辩论机制提高了分析严谨性并减少AI幻觉问题,为AI决策的可解释性提供重要支撑[39] 摩根大通的AI原生战略 - 摩根大通每年在AI上投入20亿美元,2025年技术预算高达180亿美元,其中AI是核心部分,通过设立专门AI研究部门系统性地推进金融AI基础研究[42][43] - 2024至2025年间,摩根大通AI部门共发表140篇出版物,包括15篇期刊论文和63篇会议论文,其中8篇发表于AAAI顶级会议[44] - 摩根大通的AI战略围绕三大支柱:构建专有可信的AI核心技术、通过模拟与自动化决策掌控复杂系统、从物理与另类数据中创造信息优势[45][53][58] - 在可信AI领域,摩根大通研究在不直接接触敏感数据前提下实现模型公平性的方法,以及开发具备数学上可证明隐私保护能力的合成数据[46][47] 对国内资管机构的启示 - 国内资管机构应进行顶层设计并寻求差异化破局,成立跨部门AI战略委员会,制定符合公司特色的转型路线图,采取“聚焦突破”策略[63] - 技术实施层面应采取“三步走”策略:夯实数据基础、基于开源框架进行模型选择、确立“人机协同”原则将AI定位为投研团队的“智能副手”[64] - 必须打破传统部门壁垒,构建融合投资洞察、数据科学和工程实现的跨职能团队,采取“外部引进与内部培养”双轨制进行人才建设[65][66] - 需要建立覆盖模型全生命周期的治理框架,特别关注大语言模型的“幻觉”问题,前瞻性布局“可信AI”能力建设[67]
推理时扰动高熵词,增强LLM性能
机器之心· 2025-10-29 09:07
本文第一作者杨震,香港科技大学(广州)博士生,研究方向是多模态理解与生成等。本文通讯作者陈颖聪,香港科技大学(广州)助理教授,主要研究课题包 括生成模型、具身智能等。 随着对大语言模型的研究越来越深入,关于测试时间扩展 (test-time scaling) 的相关研究正迅速崭露头角。研究团队重新审视测试时行为,发现了一个简单但尚未得 到充分探索的现象:LLM 推理时的不确定性高度局部化 —— 一小部分高熵词会显著影响输出的正确性。 正是基于这一关键观察,来自香港科技大学(广州)的研究团队提出了 Minimal Test-Time Intervention (MTI),其主要包含了 Selective CFG intervention 与 Lightweight negative-prompt guidance 两种方法。MTI 能够在推理阶段无需额外训练,就提升大型语言模型的推理能力。 论文标题:Less is More: Improving LLM Reasoning with Minimal Test-Time Intervention Lightweight negative-prompt guida ...
谷歌推出 LLM-Evalkit,为提示词工程带来秩序与可衡量性
AI前线· 2025-10-29 08:44
谷歌推出LLM-Evalkit工具 - 谷歌推出开源框架LLM-Evalkit,旨在通过Vertex AI SDK使大语言模型的提示词工程变得有序且可衡量,以统一的数据驱动工作流替代分散文档和基于猜测的迭代方式[2] - 该工具将实验、提示词保存和结果评估整合到一个连贯环境中,支持创建、测试、版本控制和并排比较提示词,帮助团队通过共享记录清晰跟踪提示词性能改进,摆脱对模糊记忆或电子表格的依赖[2] - 工具核心理念是停止猜测并进行精准衡量,用户可定义具体任务、构建代表性数据集,并利用客观指标评估输出,使改进可量化,将直觉判断转变为有据可依的实证分析[2] 工具集成与设计理念 - LLM-Evalkit与现有谷歌云工作流无缝集成,基于Vertex AI SDK构建并与谷歌专业评估工具紧密相连,在实验与性能跟踪间建立结构化反馈循环,使团队能便捷运行测试、精确比较输出并为所有提示词迭代维护统一真实数据源[3] - 框架设计体现包容性理念,提供无代码界面以降低操作门槛,使开发人员、数据科学家、产品经理和用户体验作家等广泛专业人士都能轻松使用,促进技术与非技术团队成员间的快速迭代和紧密协作,将提示词设计变为跨学科工作[3] 市场反响与获取方式 - 项目开发者Michael Santoro在LinkedIn上宣布了这一开源框架,旨在为在谷歌云上使用大语言模型的团队简化提示词工程流程[4][5] - 该领域从业者对此表示广泛关注,有用户评论指出其解决了缺乏集中化系统跟踪提示词的问题,尤其是在模型不断升级时更为突出[6] - LLM-Evalkit已在GitHub上作为开源项目发布,与Vertex AI深度集成,谷歌云控制台提供详细教程,新用户可利用谷歌提供的300美元试用积分进行探索[6]
国泰海通:打破内存墙限制 AI SSD迎来广阔成长空间
智通财经网· 2025-10-28 20:33
行业核心观点 - 国泰海通证券给予电子行业“增持”评级 [1][2] - AI创造的庞大数据量冲击全球数据中心存储设施 [1][2] - 基于SSD的存储卸载技术方案可为AI模型高效运行提供新路径 [1][3] 技术挑战:KV Cache与内存瓶颈 - 键值缓存(KV Cache)技术通过存储已生成token的Key和Value来优化计算效率、减少重复运算,显著提升推理效率 [2] - 随着Agentic AI时代到来,模型规模化扩张、长序列需求激增以及推理任务并发量增长,推理的KV Cache容量增长已超出HBM的承载能力 [2] - KV Cache需要占用GPU的显存(如HBM),生成的文本越长,缓存数据量越大,可能导致HBM和DRAM超载,造成频繁的内存溢出和卡顿迟缓 [2] 解决方案:存储卸载技术 - 业界探索KV Cache分级缓存管理技术,支持将KV Cache缓存从GPU内存卸载到CPU、SSD甚至网络存储,以解决大模型显存瓶颈 [2][3] - 英伟达推出的分布式推理服务框架Dynamo支持KV Cache卸载,其KVBM提供从GPU memory到CPU host memory、SSD、远端存储的卸载,避免大量KV Cache重计算 [3] - 三星电子提出基于SSD的存储卸载方案,将KV Cache卸载至NVMe SSD,可使首token延迟(TTFT)最高降低66%,token间延迟(ITL)最高降低42% [3] 市场趋势:存储设备更替 - 传统作为海量数据存储基石的Nearline HDD已出现供应短缺,促使高效能、高成本的SSD逐渐成为市场焦点 [1][2][4] - AI推理应用推升实时存取、高速处理海量数据的需求,促使HDD与SSD供应商积极扩大供给大容量存储产品 [4] - 由于HDD市场面临巨大供应缺口,NAND Flash业者加速技术转进,投入122TB、甚至245TB等超大容量Nearline SSD的生产 [4]