NVIDIA发布Nemotron 3.5 Super VL与两款Bolt端侧模型
Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models
NVIDIA发布1200亿参数的开放模型Nemotron 3.5 Super VL,以及端侧模型Bolt 74B-A9B 24GB和Bolt E4B 4GB。Super VL与Bolt 74B-A9B现已提供,Bolt E4B将于10月23日推出;Super VL在约五分之一参数量下,多模态智能体任务准确率与NVIDIA最大推理模型相当,同类吞吐最高可达5倍。
Nemotron 3.5以1200亿参数的Super VL和两款Bolt覆盖从数据中心到端侧,并开放权重供组织后训练。
NVIDIA今日发布Nemotron 3.5 Super VL,这是一款开放的1200亿参数模型,可为专用常驻智能体提供最快的任务完成速度和最高准确率。
与其一同推出的还有两款新的边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB,针对本地智能体工作负载优化,以平衡每GB的智能与速度;以及Nemotron 3.5 Bolt E4B 4GB,针对快速对话智能体优化每GB的智能。
Super VL和Bolt 74B-A9B现已推出,Bolt E4B将于10月23日发布。
这三款开放模型共同覆盖智能体部署的全部范围,从大型企业服务器一直到边缘设备和本地硬件。
任何希望在NVIDIA基础设施上运行智能体的组织,现在都可获得适合其层级的开放优化模型,而无需在能力与可部署性之间做出取舍。
Super VL和Bolt与Lightning和Ultra一同加入Nemotron系列。
Lightning于8月发布,负责高吞吐工作负载;Ultra负责最困难的推理任务;Bolt则将智能带到边缘。
Nemotron 3.5 Super VL:以五分之一的规模实现前沿级准确率
Super VL与Nemotron Coalition合作打造,在多模态智能体任务上提供领先准确率——指令遵循、工具使用、多步骤业务工作流和视觉理解——可与NVIDIA最大的推理模型相媲美,而参数量大约仅为后者的五分之一。

作为同类中最快的开放智能体模型——比次优模型快5倍——它帮助企业智能体在跨越数天或数周的工作流中更快完成大批量任务。

与封闭的前沿模型不同,组织可以使用自有数据对Super VL进行后训练,将其部署在自有基础设施上,并监督自己所构建的内容。
Nemotron 3.5 Bolt:边缘端的智能体智能
Bolt 74B-A9B 24GB专为在NVIDIA RTX/DGX Spark上本地运行日常智能体任务而设计,采用原生2-bit量化,以装入24GB内存,并可与其他应用程序同时运行。
相对于内存占用相近的其他模型,它在智能与速度之间取得良好平衡:足够智能以完成大多数工作,同时又比最智能的模型快得多。

借助Bolt 74B-A9B 24GB,用户可以将项目委托给流行的本地智能体框架——从网络研究到写作再到代码调试——而无需将这些工作负载发送到云端。它是PinchBench上同类#1开放模型,也是BrowseComp的#2开放模型。
Bolt E4B 4GB专为GeForce RTX、Jetson和RTX/DGX Spark上的物理与对话智能体打造。它将自然对话与多轮智能体能力相结合,为快速的本地语音助手、互动角色和嵌入式界面提供支持。
定制超级智能的采用
数十家跨行业组织正在使用自身的数据、工具、策略和工作流对 Super VL 进行后训练,以在定义其智能体部署的专业任务上进一步提高准确率。
各行业的组织正在对 Super VL 进行后训练和定制。 Scale AI 为 Skydance 的供应商信贷金融智能体以及 EY 的并购尽职调查智能体对该模型进行了后训练。 AfterQuery 为 Hebbia 定制了该模型,用于信贷协议分析。 AI21 and Alice 对该模型进行了后训练,以提升网络安全攻击韧性。 Mercor 在 APEX-SWE 编程基准上对该模型进行了后训练,用于能够规划、编写和调试代码的编程智能体。 ModelScope 使开发者能够通过其 ms-swift 框架对该模型进行微调,以用于专业多模态应用。
其他正在定制 Nemotron 3.5 Super VL 的组织包括 Ramp 用于金融文档智能; Dream,主权 AI 驱动的网络安全研究与漏洞分析; Lila Sciences 用于科学发现与搜索,以及 R1 用于医疗理赔分析与收入周期管理。 TrainLoop 使用来自 Nolla 的皮肤科数据对该模型进行了后训练,Nolla 刚刚成为首家获批由 AI 开具患者初始处方的公司。
正在集成 Nemotron 3.5 Super VL 的软件平台公司包括:
- Atlassian, 用于跨 Jira 和 Confluence 等应用的智能体搜索等任务。
- CrowdStrike,正在定制该模型,用于企业安全中的智能体蓝队演练。
- Dassault Systèmes,为工程设计与仿真提供支持。
- Perplexity,用于 Perplexity Search 和 Computer 中的搜索与智能体任务。
- Salesforce,正在定制 Nemotron,通过 Missionforce Operations 为 AI 智能体提供支持,以便在安全的客户环境中将复杂的政府工作流数字化并实现自动化。
- Synopsys 用于半导体设计验证的软件可与该模型互操作。

Nemotron 3.5 Super VL 实际所见
Nemotron 3.5 Super VL 的视觉语言优势针对智能体在实际中遇到的内容:光学字符识别,以及视觉文档中的表格、图表和结构化信息。
它会处理网页、提取文本、读取图形和图表,并根据所发现的内容返回洞察。对于 PDF 以及智能体通常处理的其他文档也同样适用。
Nemotron 3.5 Super VL 能够理解图像、网页和 PDF,并基于这种理解采取行动。在一个模型中结合文本与视觉理解,意味着智能体无需在不同系统之间路由任务——当工作从文档到数据再到决策时,上下文得以贯穿始终。
开放,以实现最大程度的控制、安全与隐私
开放性与可定制性相辅相成。该模型随附开放权重、开放数据集和训练配方。
控制权体现在两个方向。组织可以依照自身的安全与数据驻留要求,在任何地方运行该模型。他们也可以选择采用能够自行适配的模型,而不是受制于提供商限制的模型。
例如,在保险领域,定制化智能体可以反复扫描理赔,查找欺诈标记。在金融服务领域,智能体可以审查信用评分,并依据组织自身的放贷标准标记相关活动。模型留在本地。数据保持私密。
定制可通过 NVIDIA NeMo、基于 Python 的流水线以及开放数据集实现。
Nemotron 3.5 Super VL 在约 26 万亿个 token 上完成训练,涵盖预训练与持续预训练,随后使用约 380 万个样本,并在数十个环境中通过强化学习进行后训练。
NVIDIA 还在 Hugging Face 上发布开放数据集,涵盖智能体工具使用、金融、指令遵循、长上下文、公平性以及视觉-语言理解,同时还包括 NeMo Gym 中的强化学习环境。
NVIDIA NIM 将该模型打包为可投入生产的微服务,提供经过性能优化与验证的配置以及企业级支持,每两周更新一次安全补丁与性能改进。
而借助在 NVIDIA Dynamo 上运行的模型,组织可服务多达 8 倍的用户,同时延迟降低 85%。
Nemotron 3.5 Super VL 现已在 Hugging Face、Open Router、ModelScope 社区 上提供,也可作为 NVIDIA NIM 获取。
可运行于 DGX Spark、DGX Station 和 RTX
Nemotron 3.5 Super VL 可在 NVIDIA 全系列硬件上运行:在 DGX Spark、DGX Station、 RTX PRO 和 RTX 系统上实现桌面端本地智能,在 NVIDIA Jetson 上用于边缘,并覆盖数据中心与云环境。
Nemotron 3.5 Bolt 74B-A9B 24GB 现已在 Hugging Face 上提供,支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。专为NVIDIA RTX Spark 笔记本电脑 打造,这些笔记本将于 10 月 16 日上市,该模型也可运行于 GeForce RTX PC、DGX Spark、DGX Station 和 RTX PRO 工作站。
下载开放权重,借助 NVIDIA NeMo 探索定制资源,或阅读技术博客,了解完整的架构解析。
及时了解智能体、NVIDIA Nemotron 及更多内容,方式包括订阅 NVIDIA 新闻、 加入社区,并在以下渠道关注 NVIDIA AI: LinkedIn、 Instagram、 X 和 Facebook。
探索 自定进度视频教程和直播。
请参阅 声明,了解软件产品信息。
来源:NVIDIA Blog · blogs.nvidia.com