Nvidia 的 Nemotron 3.5 Super VL 是为持续运行企业智能体打造的开源模型

Nvidia 发布了 Nemotron 3.5 Super VL，这是一款拥有 1200 亿参数、专为企业级智能体打造的开源多模态模型。两款旨在将 AI 智能体带到本地 PC 和边缘设备的紧凑型 Bolt 模型也一并推出。

Nvidia 打造 Nemotron 3.5 Super VL，面向在后台持续运行、处理文本、图像、文档和视频的专用智能体。

正如该公司在一篇技术博客文章中所解释的，它采用 Mixture-of-Experts 架构，每个 token 仅激活 1200 亿参数中的 120 亿。Nvidia 与Nemotron Coalition共同开发了该模型，该组织成员包括 Mistral AI、Thinking Machines Lab、Perplexity 和 Black Forest Labs。

两款面向本地硬件的较小模型同时推出。Nemotron 3.5 Bolt 74B-A9B 24GB 可在本地机器上运行智能体任务，而更小的 Bolt E4B 4GB 面向快速语音助手，将于本月晚些时候推出。Nvidia 称，这两款模型都提供“每 GB 内存最高的智能”。

Super VL 和 Bolt 加入现有的 Nemotron 产品线。8 月发布的 Lightning专为高吞吐量打造，而Ultra则应对高难度推理任务。每个版本都针对 Nvidia 硬件进行了优化。

Bar chart of the Artificial Analysis Intelligence Index v4.3.2 with 27 models, led by Claude Opus 5.5 at 58 points. Nemotron 3.5 Super VL scores 26 points, Nemotron 3.5 Bolt 74B-A9B gets 21. — 在 Artificial Analysis 综合排名中，Super VL 大幅落后于领先的闭源模型，但超过了 Nvidia 自家的 Nemotron 3 Ultra。| 图片：Nvidi

Nvidia 称，以五分之一的规模即可达到其最大模型的精度

Nvidia 从旗下最大的推理模型 Nemotron 3 Ultra 蒸馏出 Super VL。在智能体遵循指令、调用工具、完成多步骤业务流程或分析图像等任务上，Super VL 据称仅用约五分之一的参数即可达到与 Ultra 相当的精度。据 Nvidia 称，在 Hermes 和 LangChain 的智能体测试中，它的得分实际上高于 Ultra，并且在编程基准 SWE-bench 和 Terminal-Bench 上也超过了前代 Nemotron 3 Super。

Scatter plot comparing SWE-bench Pro accuracy against hours to complete 10,000 tasks on four B200 GPUs. Nemotron 3.5 Super VL takes about 10 hours at roughly 51 percent accuracy. Qwen3.8 Flash Next and DeepSeek V4 Flash land at roughly 50 to 56 hours. Inkling Small takes nearly 120 hours. — 在编程基准测试中，Super VL 的精度略低于竞品，但 Nvidia 表示它完成任务的速度快四倍。| 图片：Nvidia

据 Nvidia 援引 Artificial Analysis 排行榜称，在单块 GPU 上，Super VL 在智能体任务上的吞吐量最高可达规模相近的其他开源模型的五倍。在 EXO Labs 于 DGX Spark 上进行的独立测试中，没有其他模型能同时做到更准确且更快。当智能体需要在数天或数周内处理大量任务时，这一速度优势便能体现出来。

Scatter plot comparing the Artificial Analysis Intelligence Index for open models against output speed at 100,000 input tokens. Nemotron 3.5 Super VL sits alone in the highlighted quadrant at roughly 630 tokens per second. — 据 Nvidia 称，在相近的 Intelligence Index 得分下，Super VL 每秒生成的 token 数最高可达同级其他开源模型的五倍。| 图片：Nvidia

面对闭源前沿模型，Nvidia 正将 Super VL 推向那些希望用自有数据微调、并在自有服务器上运行模型、不受提供商服务条款约束的公司。Nvidia 表示，这可能会吸引持续筛查理赔欺诈的保险公司，或按自有标准评估信用状况的金融服务公司。为实现定制，该公司提供了 NeMo 框架、Python 流水线以及开放数据集。

Chart from local.ai plotting the Intelligence Index of local models against end-to-end agentic task time on the DGX Spark. Nemotron 3.5 Super VL sits on the efficiency curve between Qwen 3.8 Flash Next and Qwen 3.6 35B A3B. DeepSeek V4 Flash, Inkling Small, and Qwen 3.8 27B fall below it. — 在 DGX Spark 上，没有任何其他受测模型能同时比 Super VL 更准确且更快。| 图片：Nvidia

压缩与缓存降低计算开销

Nvidia 以其 4-bit NVFP4 格式压缩 Super VL。在 Blackwell GPU 上，该模型完全以 4-bit 精度运行，而较旧的显卡仅以 4 bit 存储权重，并以 16 bit 进行运算。模型中较为敏感的部分保持更高精度。为防止质量损失，Nvidia 训练了压缩版本，使其输出与未压缩原版一致。

Two bar charts showing Nemotron 3.5 Super VL on 16 B200 GPUs with and without Nvidia Dynamo. With Dynamo, the number of users served jumps from about 60 to over 500, and time to first token drops from 2.75 to roughly 0.4 seconds. — 据 Nvidia 称，借助 Nvidia 的推理软件 Dynamo，Super VL 可服务的用户数量达到原来的八倍，同时将首 token 时间缩短 85%。| 图片：Nvidia

内置的草稿组件会预先提出若干 token，再由主模型在一次前向传播中加以验证。在 DGX Spark 上，Nvidia 则建议使用其自有的 LiLiCorr 方法，该方法会一并评估所有草稿 token，以获得更连贯的输出。Nvidia 表示，与不使用推测性草稿运行相比，这种方法可将文本生成速度最高提升至 2.3 倍。

智能体每次请求都会发送相同的指令、工具描述和对话历史，因此 Super VL 会缓存这些重复部分的计算结果，而不是每次重新运行。Nvidia 的推理软件 Dynamo 还会把同一会话的请求路由到已持有该会话缓存的 GPU。在 16 块 B200 GPU 上，这使 Super VL 能够同时服务八倍的并发用户，首 token 时间下降 85%。

Super VL 无需单独的视觉模型即可解析表格、图表和 PDF

在视觉方面，Nvidia 聚焦于智能体在日常工作中会遇到的材料，包括 OCR、表格、图表、多页文档和视频。Super VL 可以解读图表，将其与同一文档中其他位置的表格关联起来，并同时总结二者，而无需单独的图像模型。

据 Nvidia 称，在图表基准 CharXiv 上，Super VL 得分为 80.8%，而较旧的 Nemotron 3 Nano Omni 为 63%。当模型还能运行 Python 代码时，分数升至 84%。Nvidia 表示，在 OCRBench v2 排行榜上，它位列最佳开源模型之列。

本地智能体仍需要昂贵的硬件

Bolt 74B-A9B 24GB 是 Super VL 的精简版本，采用混合专家（Mixture-of-Experts）模型，每一步仅激活其 740 亿参数中的 90 亿。为将其塞进 24 GB 内存，Nvidia 对权重采用了激进的 2-bit 量化。

Bolt 负责处理智能体需要分多步完成、调用工具或搜索网页的日常本地任务。据 Nvidia 称，用户可以让它编写和调试代码，或判断哪些 PC 组件适合自己的系统。

该模型针对 Nvidia 的 RTX Spark，一款面向具备 AI 能力的 Windows 笔记本电脑的新芯片，以及 DGX Spark，一款共享内存最高达 128 GB 的紧凑型 AI 工作站进行了优化。它也可在 GeForce RTX PC、DGX Station 和 RTX PRO 工作站上运行，并支持 llama.cpp、Ollama、LM Studio 和 vLLM。

即便经过大幅压缩，24 GB 仍是很高的门槛。只有价格昂贵的高端硬件才提供这么大的内存，而按当前 GPU 价格，大多数消费者难以承受这笔开销。目前，这款本地智能体面向开发者以及高性能工作站的用户。

针对性能较弱的设备，Nvidia 已规划 Bolt E4B 4GB，不过尚未出货。它设计用于在 GeForce RTX 显卡、Jetson 模块以及 RTX/DGX Spark 上运行，为语音助手、互动角色或设备界面提供支持。该模型应能在多轮使用工具的同时进行自然对话，并感知当前应用中正在发生的情况。

早期采用者涵盖金融与网络安全

Nvidia 表示，已有数十家机构在根据自身需求微调 Super VL，主要集中在文档量大、数据敏感的行业。Scale AI 将该模型改造为媒体公司 Skydance 处理供应商信用的智能体，预计成本降至四十分之一，响应时间缩短至五分之一。Ramp 使用该模型将收据照片转为结构化数据，并预计响应速度提升十倍。EY 将其用于收购尽职调查，Hebbia 则用于分析信贷协议。

Scatter plot comparing small models under 24 GB by GDPval-v2 score and speed on the AIPerf SPEED-Bench. Nemotron Bolt 24GB lands at roughly 78 tokens per second and just under 28 points, ahead of Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Muse Glimmer 30B. — 据 Nvidia 称，在不超过 24 GB 的模型中，Nemotron Bolt 在速度与任务质量上的组合表现最佳。| 图片：Nvidia

第二波采用者来自网络安全领域。AI21 为安全公司 Alice 微调了 Super VL，后者用它分析威胁与漏洞，据 Nvidia 称准确率提高了 40%。Dream 使用该模型搜寻漏洞，CrowdStrike 正在构建用于防护企业网络的智能体。Salesforce 计划实现政府工作流自动化，R1 正在审计医疗账单，Perplexity、Dassault Systèmes 和 Mercor 也在使用该模型。

Nvidia 发布数据集与训练配方

Nvidia 将以基础版本、后训练版本和 4 位压缩版本发布权重，并一并提供数据集与训练配方以及强化学习环境。这使得 Super VL 比许多通常只共享权重的开放权重模型更加开放。

Nvidia 表示，该模型在预训练和持续预训练阶段使用了超过 25 万亿个 token 进行训练；后训练与强化学习则在约 100 个开放训练环境中额外加入了大约 400 万个样本。

在 Hugging Face 上，Nvidia 还将发布若干数据集，供其他开发者训练或微调自己的模型。这些数据集涵盖智能体如何使用工具、遵循指令、处理长文本以及理解图像，另一些数据集则涉及金融、安全与公平性。

其中一个数据集面向印度使用的语言。Nvidia 与印度理工学院马德拉斯分校及其人工智能实验室 AI4Bharat 共同构建了该数据集，其中包含约 2.83 万亿个 token、涵盖 22 种印度语言的文本。

Bar chart comparing Sarvam-105B, Gemma-4-31B-it, and post-trained Nemotron 3.5 Super VL across five Indic-language benchmarks. Super VL leads in all of them, most clearly in Indic FrontierMath with 58 versus 27 and 22 points. — 经 Indic 数据集微调后，Super VL 在印度语言基准测试中胜过 Sarvam-105B 等更大的专用模型。| 图片：Nvidia

开放模型带动 Nvidia 硬件销售

Super VL 可运行于 DGX Spark、DGX Station、RTX PRO 和 RTX 等桌面系统，也可运行于边缘设备中的 Jetson 模块，以及数据中心和云端。通过 Nvidia NIM，企业可将该模型作为可立即部署的微服务获得，并附带经过验证的配置与支持，计划每两周更新一次。权重可在 Hugging Face 上获取：Nemotron 3.5 Super VL 120B-A12B 和 Nemotron 3.5 Bolt 74B-A9B 24GB。

Nvidia 以开放方式发布这些模型，但针对自家产品进行了调优，从数据中心服务器到工作站皆是如此。任何想充分发挥 Nemotron 性能的人，最终都会购买 Nvidia 硬件。

Nvidia 开放模型背后的策略是出于自身利益的。运行自有开放模型的公司越多，对计算硬件的需求就越大，而且在可预见的未来，开放模型很可能仍会针对 Nvidia 保持优化。与此同时，Meta、Google、Anthropic 和 OpenAI 等公司正在自研芯片，并改为针对这些芯片优化模型。为进一步推动开放 AI 模型的普及，Nvidia 最近向 Hugging Face 投资了 $12.9 billion，后者是开发和共享这些模型的最重要平台之一。