Cohere
搜索文档
NVIDIA Dynamo Open-Source Library Accelerates and Scales AI Reasoning Models
Globenewswire· 2025-03-19 02:17
文章核心观点 - NVIDIA推出开源推理软件Dynamo,可加速和扩展AI推理模型,以最低成本和最高效率运行AI工厂,提高推理性能并降低成本,增加代币收入 [1][3] 产品介绍 - Dynamo是NVIDIA Triton Inference Server™的继任者,可协调和加速跨数千个GPU的推理通信,采用分离式服务优化大语言模型处理和生成阶段,确保GPU资源最大利用率 [3] - 同一数量GPU下,Dynamo使运行Llama模型的AI工厂性能和收入翻倍,运行DeepSeek - R1模型时每GPU生成代币数量提升超30倍 [4] - 具备动态调整GPU、定位特定GPU、卸载推理数据等功能,可提高吞吐量并降低成本 [5] - 完全开源,支持多种框架,可让企业、初创公司和研究人员开发和优化AI模型服务方式,加速AI推理采用 [6] 应用案例 - 映射推理系统内存知识,将新推理请求路由到匹配GPU,避免重复计算,释放GPU响应新请求 [7] - Perplexity AI期待利用Dynamo增强分布式服务能力,提高推理服务效率,满足新AI推理模型计算需求 [8] - Cohere计划用Dynamo为其Command系列模型提供代理AI功能,认为其有助于为企业客户提供优质用户体验 [8][9] - 支持分离式服务,将大语言模型不同计算阶段分配到不同GPU,适用于新NVIDIA Llama Nemotron模型家族,可提高吞吐量和响应速度 [9] - Together AI计划将其推理引擎与Dynamo集成,实现推理工作负载跨GPU节点无缝扩展,动态解决模型管道各阶段流量瓶颈 [10] 关键创新 - GPU Planner:动态添加和移除GPU,适应波动的用户需求,避免GPU过度或供应不足 [14] - Smart Router:引导请求跨大型GPU集群,减少重复或重叠请求的GPU重新计算,释放GPU响应新请求 [14] - Low - Latency Communication Library:支持先进的GPU到GPU通信,抽象异构设备数据交换复杂性,加速数据传输 [14] - Memory Manager:智能地将推理数据卸载和重新加载到低成本内存和存储设备,不影响用户体验 [15] 产品可用性 - 将在NVIDIA NIM™微服务中提供,并在未来版本的NVIDIA AI Enterprise软件平台中得到支持,具备生产级安全、支持和稳定性 [15]
速递|英伟达正在构建AI帝国,从GPU霸主到初创企业收割机
Z Potentials· 2025-03-17 21:14
英伟达AI投资战略 - 英伟达抓住AI革命机遇 自ChatGPT推出后收入盈利能力和股价均实现飙升 [1] - 公司加速投资AI初创企业 2024年参与49轮AI公司融资 较2023年34轮大幅增加 [3] - 投资目标为扩展AI生态系统 支持"游戏规则改变者和市场创造者"类初创公司 [3] 重大投资项目 - 参与OpenAI 66亿美元融资轮 投资1亿美元 公司估值达1570亿美元 [5] - 投资xAI 60亿美元融资轮 与OpenAI形成竞争关系 [5] - 参与Inflection 13亿美元融资 后因创始人被微软挖角导致前景不明 [6] - 投资Scale AI 10亿美元融资轮 公司估值达140亿美元 [6] - 参与Figure AI 6.75亿美元B轮融资 公司估值26亿美元 [7] 重点投资领域 - 自动驾驶领域:投资Wayve 10.5亿美元融资 测试自学习驾驶系统 [6] - 云计算服务:投资CoreWeave 估值从20亿跃升至190亿美元 已申请IPO [9] - 语言模型开发:投资Mistral AI 6.4亿美元B轮融资 估值60亿美元 [8] - 数据基础设施:投资Lambda 4.8亿美元D轮融资 估值25亿美元 [8] 新兴技术布局 - 光互连技术:投资Ayar Labs 1.55亿美元融资 提升AI计算能效 [12] - 医疗AI:投资Hippocratic AI 1.41亿美元B轮融资 估值16.4亿美元 [12] - 机器人技术:投资Bright Machines 1.26亿美元C轮融资 [14] - 网络芯片:投资Enfabrica 1.25亿美元B轮融资 [14]
Meta Faces Copyright Infringement Lawsuit in France Over AI Training
PYMNTS.com· 2025-03-12 22:20
文章核心观点 Meta因未经授权使用出版商和作者书籍训练生成式人工智能模型,在法国面临版权侵权诉讼,科技公司在开发AI工具使用版权材料方面面临法律挑战 [1][2] 分组1:Meta相关诉讼 - Meta遭法国代表出版商和作者的行业协会起诉,被指未经许可用书籍训练生成式人工智能模型,相关协会已告知欧盟委员会Meta行为违反欧盟规则 [1][2] - Meta此前在加州法院也面临诉讼,被指故意用盗版书籍训练AI系统,该诉讼由知名人物发起 [3] 分组2:其他公司相关诉讼 - 2月一群新闻出版商在纽约联邦法院起诉AI公司Cohere版权侵权,指控其不当使用至少4000部版权作品训练AI大语言模型并绕过访问网站展示文章 [4] - Cohere发言人称公司坚持训练做法,认为诉讼是错误和无意义的,期望案件得到有利解决 [5][6]
速递|Cohere年化收入三倍增长,初创公司考虑出售员工股票,或将进行E轮融资
Z Potentials· 2025-02-26 11:12
公司业绩增长 - 公司年化收入达到7000万美元 比去年三月增长三倍多 [1] - 公司在面临OpenAI和Anthropic竞争以及DeepSeek等廉价开源替代品激增的情况下仍实现显著增长 [1] 股权与融资动态 - 公司考虑允许出售员工股份 为投资者提供估值窗口 [2] - 潜在投资者预计员工股份出售后可能很快进行E轮主要融资 [2] 行业竞争格局 - 企业AI软件市场日益拥挤 公司面临来自OpenAI和Anthropic的直接竞争 [1] - 廉价开源替代品如DeepSeek的激增加剧了行业竞争压力 [1]
苏姿丰,刚投一位女掌门
投资界· 2024-12-19 15:31
估值160亿。 作者 I 王露 报道 I 投资界PEdaily 学界硕果累累,Rus还积极投身创业,此前曾创立Themis AI、自动驾驶Ve nti等公司。而 此次创立的Li q u i d AI,最早可追溯到2 01 7年,当时Rus注意到Rami n Ha s a ni、Ma t hi a s Le c h n e r的神经网络研究,将他们挖到实验室,并以身入局与博士生Al e x a n d e r Ami ni共 同钻研。至此,Li q u i d AI的联合创始团队集合完毕。 投资界获悉,近日Li q ui d AI宣布完成一笔2 . 5亿美元A轮融资,领投方正是苏姿丰所执掌 的AMD。至此,这家成立仅一年的创业公司,估值超过2 3亿美元(约160亿人民币)。 公司创始人Da ni e l a Ru s,人们可能有所不知,这是与李飞飞齐名的计算机大佬。她因率 先开展分布式机器人研究并实现算法突破而闻名业内,目前掌舵全球最大的高校实验室, 被称为机器人之母。2 02 3年,她带领三名弟子创办Li qui d AI。 这也是本月以来AMD在AI赛道的第三次出手,此前已押注芯片公司Ay a r La b ...
上半年 AI 市场有多差?为什么机构出手这么少? | 42章经
42章经· 2024-07-21 21:50
AI市场融资现状 - 2024年1-5月获得主流机构投资的AI公司不超过30家 其中相当部分为追加轮次 融资难度较十年前提高百倍[1] - 一级市场新资金流入不足 投资人因历史踩坑经验转向过度保守 市场环境不健康[2] 机构投资困境 - 评价体系与AI发展阶段不匹配 存在三大核心质疑:技术可行性/商业化潜力/行业演进方向[2] - 投资策略在早期投人与后期投PMF间摇摆 缺乏统一方法论[2] 技术发展节奏 - 行业存在非理性急躁情绪 从十年缩短至季度级赛道切换 违背技术发展客观规律[3] - AI进展已超预期 Sora/4o/3D等多模态demo验证技术想象空间 但模型能力仍需1-2年成熟期[7] 应用层创新趋势 - 全球华人创业者中PMF达标企业不足30家 呈现三大方向:工具型产品/Prosumer服务/非结构化数据处理[4][5] - 短期爆款多为黏土滤镜等增长型产品 刚需型应用仍待探索[6] 创业策略建议 - 应用层先发优势取决于数据质量与认知积累 大模型领域无先发优势[8] - 核心要务是跑通PMF 即使小规模用户验证ROI也具价值[9] - 创业者需兼具技术理解/需求洞察/组织能力 移动互联网经验非必要条件[10] 行业认知演进 - 市场悲观情绪反映认知深化 从业者已明确技术边界与最佳实践[11] - 产品创新需突破"下一代XX"思维定式 探索原生AI交互形态[12] 全球化与分工 - 创业者普遍转向全球市场 欧美付费能力助力ROI验证 地缘政治加速此趋势[13] - 模型层将呈现端到端分离 头部公司垄断基础层 中间层出现垂直领域模型与infra服务[14] 入口变革与巨头布局 - AI coding可能重塑交互入口 聊天界面将取代传统APP形态[15][16] - 大厂模型战略分两类:字节等进攻型玩家争夺入口 美团等防守型玩家防止掉队[17] 投资标的分析 - 苹果因硬件入口价值最具潜力 腾讯社交数据资产构筑护城河[18] - 英伟达面临AI ROI计算带来的军备竞赛放缓风险[18] - 中美模型差距持续扩大 全球范围内头部公司马太效应加剧[18]