NVIDIA Expands Open Model Families to Power the Next Wave of Agentic, Physical and Healthcare AI

文章核心观点 英伟达宣布扩展其开源模型家族,以推动下一代智能体、物理世界及医疗保健AI的发展 公司推出了多个新模型,旨在赋能开发者和科学家构建能够在数字和现实世界中推理与行动的智能系统[2][13] 开源模型组合与战略意义 - 开源AI已成为全球创新驱动力 英伟达扩展的开源模型组合,包括用于智能体系统的Nemotron、用于物理AI的Cosmos、用于自动驾驶汽车的Alpamayo、用于机器人的Isaac GR00T以及用于生物医学研究的BioNeMo,为各行业解锁新能力提供了先进的模型和框架[3] - 公司认为,开源模型对于在全球范围内推进创新至关重要 其模型家族将智能扩展到语言之外,使全球开发者能够构建智能体,并推动数字和物理行业的突破[4] 智能体AI模型:Nemotron系列 - Nemotron 3全能理解多模态模型:为AI智能体提供支持,实现自然对话、复杂推理和先进的视觉能力[5][16] - Nemotron 3 Ultra模型:在NVIDIA Blackwell平台上使用NVFP4格式,提供前沿智能,吞吐效率提升5倍,适用于代码助手、搜索和复杂工作流自动化等AI原生应用[17] - Nemotron 3 Omni模型:集成音频、视觉和语言理解,使AI智能体能高效、准确地从视频和文档中提取见解[17] - Nemotron 3 VoiceChat模型:支持实时对话,AI可同时聆听和响应,在一个系统中结合了自动语音识别、大语言模型处理和文本转语音功能[17] - Nemotron安全模型与检索流程:通过检测文本和图像中的不安全内容来增强可信的多模态系统,智能体检索流程则提高输出的相关性和准确性[17] - Nemotron-Personas数据集:发布了基于本地人口普查和人口数据的、保护隐私的完全合成数据集 法国数据集现已推出,加入了美国、日本、印度、巴西和新加坡的现有数据集[9] 物理AI模型:机器人及自动驾驶 - Isaac GR00T N1.7模型:专为人形机器人打造的开放式推理视觉语言行动模型,现已具备商业可行性,可用于实际部署[16][18] - GR00T N2模型预览:基于DreamZero研究的下一代机器人基础模型,采用新的世界行动模型架构,帮助机器人在新环境中完成新任务的成功率是领先VLA模型的两倍以上 该模型目前在MolmoSpaces和RoboArena的通用机器人策略排名中位列第一[10] - Cosmos 3模型:首个统一合成世界生成、物理AI推理和行动模拟的世界基础模型,预计即将推出,将帮助物理AI在复杂环境中运行[18] - Alpamayo 1.5模型:一个推理VLA模型,通过导航引导、提示条件、灵活的多摄像头支持和可配置的摄像头参数,增强了自动驾驶汽车的推理能力[18] 医疗保健与生命科学AI模型 - BioNeMo平台扩展:作为一个开放的医疗保健和生命科学AI开发平台,使研究人员能够大规模建模、设计和模拟生物系统[19] - Proteina-Complexa模型:用于蛋白质结合剂设计的生成模型,加速基于结构的药物发现和治疗开发[16][19] - AlphaFold数据库扩展:公司与EMBL欧洲生物信息学研究所、Google DeepMind和首尔国立大学合作,大规模扩展了AlphaFold蛋白质结构数据库,计算了约3000万个蛋白质复合物预测,并向AlphaFold数据库新增了170万个高置信度预测,以加速新药物靶点和疾病生物学的发现[20] - nvQSP模拟引擎:一种GPU加速的模拟引擎,使药物研究人员能够在临床试验开始前在计算机模型中探索更多的治疗方案 基准测试显示,与传统的单线程CPU模拟相比,nvQSP性能提升高达77倍,使科学家能在以前仅能模拟几个场景的时间内,分析数百个剂量水平和患者亚群[21] 合作伙伴与客户应用案例 - 智能体AI应用:包括Automation Anywhere、CodeRabbit、CrowdStrike、Cursor、Factory、Distyl、Genspark、Perplexity和ServiceNow在内的领先公司正在部署Nemotron模型以支持高级智能体应用[7] Edison Scientific将Nemotron作为Kosmos的核心组件,该自主AI科学家被超过50,000名研究人员使用,可并行执行数百项研究任务,将数月的研究压缩至一天[7] - 全球开发者应用:全球AI开发者正在使用Nemotron模型的数据和框架构建主权模型,以母语服务数十亿人,并符合当地文化和价值观 这些开发者包括AI Singapore、Bielik.ai、Indosat Ooredoo Hutchison、LINAGORA、SOOFI、Stockmark、Trillion Labs、Viettel和YTL AI Labs[8] - 物理AI应用:HCLTech、Johnson & Johnson MedTech、Milestone Systems、mimic robotics、Skild AI、Tulip和丰田研究所正在使用NVIDIA Cosmos加速物理AI训练和视频分析[11] Humanoid、LG Electronics、NEURA和Noble Machines正在采用NVIDIA Isaac GR00T N1.7来扩展人形机器人的部署[11] - 医疗AI应用:Novo Nordisk、Viva Biotech和Manifold Bio正在使用Proteina-Complexa模型设计能与靶蛋白结合的蛋白质,并对生成的设计进行了实验测试[16][19] - 平台集成:LangChain已将NVIDIA Nemotron模型和其他NVIDIA Agent Toolkit软件集成到其智能体开发平台中,使企业能够构建、部署和监控智能AI助手,以企业级规模自动化复杂任务[6] 产品发布与获取渠道 - 公司宣布了新的开源模型,包括Nemotron 3 Ultra、Omni和VoiceChat、Cosmos 3、Isaac GR00T N1.7、Alpamayo 1.5和Proteina Complexa,以推进智能体、物理和医疗AI[14][15] - 部分NVIDIA开源模型、数据和框架可在GitHub、Hugging Face、一系列云、推理和AI基础设施平台以及build.nvidia.com上获取[22] - 许多模型也作为NVIDIA NIM微服务提供,可在从边缘到云的任何NVIDIA加速基础设施上进行安全、可扩展的部署[22]