Large language model

搜索文档
CoreWeave: Aggressive Valuation
Seeking Alpha· 2025-06-23 22:57
CoreWeave's (NASDAQ: CRWV ) is an AI-focused Cloud computing start-up that benefits from a massive upsurge in generative AI spending. Strong demand for GPUs that are being used to train and run large language models is why the company’s MarchAnalyst’s Disclosure:I/we have a beneficial long position in the shares of NBIS, NVDA either through stock ownership, options, or other derivatives. I wrote this article myself, and it expresses my own opinions. I am not receiving compensation for it (other than from Se ...
MinMax-M1:超越DeepSeek,支持百万级token上下文
自动驾驶之心· 2025-06-21 21:15
以下文章来源于AIGC面面观 ,作者欠阿贝尔两块钱 AIGC面面观 . 整理LLM、AIGC的入门笔记 | 论文学习笔记 | 一线大厂面经 | 探索AIGC落地 作者 | 欠阿贝尔两块钱 来源 | AIGC面面观 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >>点击进入→ 自动驾驶之心 『大模型』技术交流群 主要贡献 1. 高效混合架构设计 :结合MoE架构与Lightning Attention)的模型MiniMax-M1, 支持百万级上下文窗 口(1M tokens) ,生成长度达80K tokens时FLOPs仅为传统注意力模型的25%。 2. 超越DAPO的算法CISPO :通过 剪裁重要性采样权重 提升RL效率,相比DAPO实现2倍加速,避免了 传统方法(如PPO/GRPO)对低概率token有更好的采样效果。 3. 可扩展上下文 :支持从40K到80K Token生成长度的扩展。 本文只做学术分享,如有侵权,联系删文 1.混合注意力架构 Lighting Attention : 采用I/O感知的线性注意力计算,通过分块计算和内存优化 ,将长 ...
Hybrid Cloud Storage Company Radar Report 2025 Featuring Cloudian, CTERA, Hammerspace, LucidLink, Nasuni, NetApp, Panzura, and Peer Software
GlobeNewswire News Room· 2025-06-16 16:02
混合云存储市场概况 - 混合云存储市场处于新兴阶段 具有动态性和快速演变的特性 主要由于企业急需高效统一和管理不断增长的数据存储需求 [2] - 目前市场上仅有少数供应商能提供完整解决方案 支持统一数据管理 多种存储格式(文件和对象)以及数据类型(结构化和非结构化) [2] 市场需求与驱动因素 - 现代企业需要能控制成本 确保稳定性能 并支持可持续发展目标的数据存储解决方案 [1] - 混合云存储解决方案特别适合处理数据密集型应用(如AI) 能有效统一 管理和保护海量企业数据 [1] - 完整解决方案对支持多模态AI至关重要 这类AI需要整合来自不同来源 格式和类型的数据集 [3] 技术发展趋势 - 提供全局命名空间的服务被认为是最佳解决方案 能为需要大规模数据集的工作负载提供优异的性能和可扩展性 [3] 市场规模与增长 - 2024年市场规模估计为1000亿美元 未来6年复合年增长率预计达16% [4] - 若企业加速采用AI和大语言模型(LLMs) 市场增速可能进一步加快 [4] 主要市场参与者 - 报告中提及的主要公司包括Cloudian CTERA Hammerspace LucidLink Nasuni NetApp Panzura Peer Software等 [7]
Can Nvidia Stock Double in 5 Years?
The Motley Fool· 2025-06-14 15:45
公司表现 - 公司股价在过去三年上涨超过740% [1] - 2026财年第一季度销售额同比增长69% 每股收益(EPS)为0.81美元 即使扣除因美国政策导致的0.15美元每股影响 仍显著高于去年同期 [7] - 数据中心收入同比增长73% 增速超过总收入 [10] 行业机遇 - 生成式AI成为技术热点 科技公司竞相开发AI平台或将AI集成到用户界面中 [4] - AI应用需要强大芯片支持 公司芯片在AI芯片市场份额估计在70%至95%之间 [5][11] - 大型语言模型(LLM)从推理阶段发展到推理阶段 需要更强大的芯片支持 [9] 技术发展 - 公司持续开发更强大技术 Blackwell模型已升级为Blackwell Ultra 并计划在2026年推出新技术Rubin [10] - AI推理代币生成量在一年内激增10倍 AI代理成为主流将加速对AI计算的需求 [10] 估值分析 - 公司股票按明年盈利预期计算的市盈率为25倍 仍有上涨空间 [12] - 按过去12个月销售额计算的市销率为23倍 为高增长估值 [13] - 若保持当前市销率 公司需要实现15%的复合年增长率才能在五年内实现股价翻倍 考虑到当前表现和未来机会 这一目标具有可行性 [14][15]
1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版
机器之心· 2025-06-13 12:31
开源LLM推理引擎优化 - vLLM是由加州大学伯克利分校团队开发的高性能开源LLM推理和服务引擎,旨在提升LLM的推理速度和资源利用率,兼容Hugging Face等流行模型库[2] - vLLM通过创新的PagedAttention注意力机制实现方案,使GPT、Mistral、LLaMA等主流模型系列运行更快且消耗更少资源[3] - DeepSeek AI研究者俞星凯开发了轻量级vLLM实现Nano-vLLM,代码简化至1200行,在GitHub上获得200多Star[4][5] Nano-vLLM技术特性 - Nano-vLLM具备三大核心功能:快速离线推理(速度与vLLM相当)、易读代码库(Python代码少于1200行)、优化套件(提供Prefix缓存、Torch编译等功能)[6][7][8] - 基准测试显示,Nano-vLLM与vLLM输出token相同(133,966个),时间略长(101.90秒 vs 98.95秒),吞吐量稍低(1314.65 tokens/s vs 1353.86 tokens/s)[11] - 测试配置为RTX 4070硬件、Qwen3-0.6B模型,256个序列请求,输入输出长度在100-1024 tokens间随机采样[10] 开发者背景 - Nano-vLLM开发者俞星凯现任DeepSeek深度学习系统工程师,参与过DeepSeek-V3和DeepSeek-R1开发[13] - 曾就职于腾讯、幻方(DeepSeek母公司)和字节跳动,2023年正式加入DeepSeek[14] - 此前开发过植物大战僵尸Qt版(GitHub 270+ Star)及多个南京大学计算机项目[13]
Report: Apple Aims to Release AI-Powered Upgrade of Siri in Spring 2026
PYMNTS.com· 2025-06-13 10:02
苹果Siri AI升级计划 - 公司计划在2026年春季推出AI升级版Siri语音助手 原定2024年秋季发布但遭遇延迟 [1] - 新功能可能在2025年秋季预览 2026年春季正式发布 [2] - 技术挑战导致Siri完全重建 管理层职责也进行了调整 [3] 发布时间变更 - 最初计划2024年秋季发布 后推迟至2025年春季 最终调整为"来年" [2][3] - 软件工程主管Craig Federighi表示需要更多时间达到质量标准 [4] - CEO Tim Cook在财报电话会议中承认AI能力升级需要"更多时间" [4] 技术挑战 - 员工透露公司在应用前沿大语言模型(LLM)升级Siri时遇到困难 [5] - 需解决LLM对语音提示提供复杂响应的技术难题 [5] 行业对比 - 公司在生成式AI创新方面相对保守 与亚马逊 谷歌 微软等竞争对手形成对比 [6] - 竞争对手正以激进且实验性的方式拥抱LLM和企业级AI解决方案 [6]
COMPAL Optimizes AI Workloads with AMD Instinct MI355X at AMD Advancing AI 2025 and International Supercomputing Conference 2025
Prnewswire· 2025-06-13 02:30
产品发布 - 公司发布SG720-2A/OG720-2A高性能服务器平台,采用AMD Instinct™ MI355X GPU架构,支持单相和两相液体冷却配置 [1] - 新产品针对下一代生成式AI和大型语言模型(LLM)训练设计,提供卓越的灵活性和可扩展性 [1] - 产品在AMD Advancing AI 2025和国际超级计算大会(ISC) 2025上同步亮相 [1][7] 技术特点 - 支持最多8个AMD Instinct MI350系列GPU(包括MI350X/MI355X),实现高密度训练 [7] - 采用双冷却架构(空气和液体冷却),优化高热密度工作负载 [7] - 两相液体冷却解决方案与ZutaCore®合作开发,提供稳定热性能 [7] - 基于CDNA 4架构,配备288GB HBM3E内存和8TB/s带宽,支持FP6和FP4数据格式 [7] - 配备PCIe Gen5和AMD Infinity Fabric™,实现多GPU编排和高吞吐量通信 [7] - 全面支持主流开源AI堆栈(ROCm™、PyTorch、TensorFlow等) [7] - 兼容EIA 19"和ORv3 21"机架标准,采用模块化设计 [7] 行业趋势 - 生成式AI和LLM推动计算需求增长,企业更重视兼具性能和适应性的基础设施 [3] - AI和HPC的未来不仅关注速度,更注重智能集成和可持续部署 [6] 公司战略 - 公司与AMD保持长期战略合作,共同开发服务器平台解决方案 [5] - 通过双平台展示,公司扩大在AI和HPC领域的全球影响力和合作伙伴网络 [7] - 公司近年来积极发展云服务器、汽车电子和智能医疗等新兴业务 [9] 公司背景 - 公司成立于1984年,是笔记本和智能设备行业的领先制造商 [9] - 2024年被《天下杂志》评为台湾前6大制造商之一 [9] - 持续入选《福布斯》全球2000强和《财富》全球500强企业 [9]
Red Violet (RDVT) FY Conference Transcript
2025-06-12 03:00
纪要涉及的行业和公司 - **行业**:身份验证行业,涵盖金融、房地产、执法、政府、保险等多个垂直领域 [6][13][14] - **公司**:Red Violet,其主要竞争对手包括LexisNexis、TransUnion、Equifax等 [15] 核心观点和论据 公司历史与背景 - 管理团队在身份验证领域拥有二三十年经验,90年代末创立Accurant,后以7.5亿美元卖给LexisNexis;又创立TLO,以近2亿美元卖给TransUnion,累计交易近10亿美元 [4][5] - 2014年团队重组,采用云计算技术构建新平台,区别于传统大数据机房模式,可根据业务量灵活调整规模 [6] 业务模式与服务 - 聚合美国成年人的各类数据库信息,创建360度个人资料并出售,与客户签订长期合同,成本固定,新增收入几乎100%转化为利润 [6] - 服务五个垂直领域,约26个行业,如催收、房地产、金融和企业风险、执法、新兴市场(政府、保险等) [6][13][14] 竞争优势 - **数据质量与连接性**:以背景筛查为例,Equifax虽数据多,但无法复制Red Violet的数据提升效果,客户最终选择与其签订长期协议 [15][17] - **云计算基础设施**:客户使用TransUnion服务时出现吞吐量和数据质量下降问题,最终回到Red Violet平台 [18][20] - **客户资源**:为七个顶级身份验证平台提供支持,如ID. Me等 [21] 市场趋势与业务机会 - **经济周期适应性**:经济繁荣时,新账户开户、贷款申请等需要身份验证;经济下行时,信用卡违约和回收市场增长,带动催收业务需求 [24][25] - **新兴市场潜力**:政府和保险等新兴市场目前渗透率低,但历史上曾是重要收入来源,未来有望成为独立业务板块 [14] 销售策略与业务拓展 - **销售团队垂直化**:针对不同行业设立专业销售团队,如执法、金融和企业风险等 [28] - **瀑布式销售**:在催收领域,先由一级供应商处理,未匹配的数据再由Red Violet处理,逐步提高市场份额 [29] - **直接面向终端用户**:与顶级身份验证平台合作,为终端用户提供定制解决方案,逐渐从批发转向零售业务 [30] 成本与利润分析 - **数据成本**:40%的数据成本与一家供应商相关,合同12 - 18个月后到期,正在重新谈判,预计与六年前一样维持原价 [33][34] - **利润率**:毛利率约80%,调整后EBITDA利润率约40%,目前处于较低的30%左右 [35] 政府业务前景 - 聘请Jonathan McDonald负责公共部门业务,团队约15 - 20人,已在执法机构取得良好进展,拥有1000 - 2000家客户,美国市场总量约15000家 [37][38] - 联邦业务销售周期长,预计2026年开始贡献收入,当前政府削减开支后重新招标,为公司带来更多机会 [41][42] AI影响与机遇 - **非威胁因素**:AI存在数据幻觉问题,金融机构等需要高可信度数据资产,不会使用ChatGPT进行身份验证,因此对公司不构成威胁 [43][44] - **机遇方面**:可利用AI获取更多数据,如读取长格式数据、构建家族树等,还能提升系统交互性和查询效率 [45][46] 资本运用与发展战略 - **股份回购**:已回购约150万股,平均价格19美元,还通过其他方式回购股份,总计约150万股 [52][53] - **并购与投资**:寻找独特数据资产进行收购,降低数据成本,提高利润率;也会考虑自主研发产品,如背景筛查业务 [54][55] - **数据获取与运营效率提升**:通过AI获取更多数据,同时自动化内部重复任务,提高运营效率和利润率 [55][56] 其他重要但可能被忽略的内容 - 公司所有业务收入均来自美国,若拓展国际业务,将与合作伙伴共同服务客户 [70] - 公司在房地产行业通过Forewarned产品为房地产经纪人提供安全解决方案,已进入500多个房地产协会,服务约325名用户,美国可服务市场约100万名房地产经纪人 [11] - 公司将手动催收工作外包,专注于自动化流程,以获取更高的利润率 [31][32] - 公司数据安全有保障,每年进行多次第三方渗透测试,获得信用局审计、PCI一级认证、ISO 2700认证等 [63][64]
Can Advanced Micro Devices EPYC Drive Data Center Revenue Growth?
ZACKS· 2025-06-12 01:15
数据中心业务表现 - 公司数据中心收入在2025年第一季度同比增长57.2%至36.74亿美元,占总收入的49.4% [1] - 第五代EPYC Turin处理器和Instinct AI加速器在超大规模企业和企业客户中的部署是主要增长动力 [2] - 超大规模企业如AWS、Google和Oracle推出了30多个新的EPYC驱动的云实例,企业客户在福布斯2000强中的采用率翻倍 [2] EPYC处理器市场渗透 - EPYC处理器已被所有前10大电信、航空航天和半导体公司采用,并在汽车、制造和能源领域获得增长势头 [3] - 诺基亚采用第五代EPYC 9005系列处理器用于其云平台,以提升5G核心、边缘和企业应用的性能与能效 [3][4] 行业竞争格局 - 公司在数据中心市场面临英特尔和英伟达的激烈竞争 [5] - 英特尔通过Xeon处理器和AI加速器扩大其数据中心产品组合,2025年第一季度数据中心和AI集团收入同比增长8%至41.3亿美元 [6] - 英伟达受益于生成式AI和大型语言模型需求,2026财年第一季度数据中心收入同比增长73.3%至391亿美元 [7] 股价表现与估值 - 公司股价年初至今上涨1.4%,表现落后于Zacks计算机与技术板块的2.4%和计算机集成系统行业的16.7% [8] - 公司股票交易溢价,12个月前瞻市销率为5.86倍,高于行业的3.59倍,价值评分为D [11] 盈利预期 - 2025年第二季度每股收益共识预期为0.56美元,过去30天下调13.6%,同比下降18.84% [13] - 2025年全年每股收益共识预期为3.97美元,过去30天下调2.9%,但同比增长19.94% [13]
大模型能够自发形成“人类思维地图”!Nature子刊重磅研究揭示多模态大模型类脑机制
机器人圈· 2025-06-11 19:43
大模型≠随机鹦鹉!Nature子刊最新研究证明: 大模型内部存在着类似人类对现实世界概念的理解。 LLM能理解现实世界和各种抽象概念吗?还是仅仅在"鹦鹉学舌",纯粹依靠统计概率预测下一个token? 长期以 来,AI社区对这一问题存在很大的分歧。 有一种猜测是,纯粹基于语言的形式(例如训练语料库中token的条件分布)进行训练的语言模型不会获得任何语 义。 相反,它们仅仅是根据从训练数据中收集的表面统计相关性来生成文本,其强大的涌现能力则归因于模型和训练 数据的规模。这部分人将LLM称为"随机鹦鹉"。 但现在研究证明,并非如此! 中国科学院自动化研究所与脑科学与智能技术卓越创新中心的联合团队 在 《Nature Machine Intelligence》 发表 题为 《Human-like object concept representations emerge naturally in multimodal large language models》 的研 究。 | Received: 26 June 2024 | Changde Du@ 12, Kaicheng Fu1-2, Bincheng Wen ...