NVIDIA Cosmos 开放训练、评估与部署世界模型的新工具

为帮助开发者快速构建世界模型，这些模型可帮助物理 AI 系统理解并模拟现实世界，NVIDIA 已扩展Cosmos 平台，新增了训练工具、仿真检查点以及 Cosmos Data Factory 蓝图。

在六个不同的开放模型排行榜上均位列前五，NVIDIA Cosmos 平台为世界模型构建者提供前沿开放模型，以及数据、训练与优化工具和配方，以便在部署前扩展训练数据、适配模型、测试行为并优化性能。

构建更优质的训练数据

构建世界模型始于多模态、多感官数据。

NVIDIA Cosmos Data Factory 汇集了用于大规模标注、整理、增强和评估数据以训练物理 AI 的工具与技能。Cosmos Curator 是一款用于整理视频训练数据集的 GPU 加速解决方案，现已新增对多模态多感官输入和处理块的支持。

阅读全部 NVIDIA 欧洲公告

Cosmos Data Factory 现提供以下五个云原生蓝图，可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取：

自动驾驶车辆数据集生成：整理并标注驾驶数据，然后添加难以采集场景的合成示例，以扩大训练覆盖范围。
图像属性增强：改变物体外观以改进图像搜索。
事件视频生成：将静态图像转换为罕见或不安全事件的合成视频。
缺陷图像生成：为检测模型生成印刷电路板、金属和玻璃缺陷图像。
视频数据增强：在保留场景结构的同时，改变现有影像中的天气和光照。

Cosmos Data Factory 加速借助智能体技能进行的数据整理、处理与合成数据生成。

企业已开始运用 Cosmos Data Factory 蓝图，以加快其物理 AI 开发工作流。

Porsche 正牵头开发覆盖 Volkswagen Group 各品牌的共享 AV 数据飞轮，使用 Cosmos Data Factory，经由 Voxel51 在 Microsoft Azure 上。预计这将使重复的实车路测最多减少 90%，并将开发周期最多缩短 85%。

Porsche 在 Voxel51 中搜索并增强自动驾驶车辆数据影像，由 Cosmos Data Factory 提供支持。

ANYbotics 借助 Cosmos Data Factory 蓝图生成了超过 1,500 段合成视频片段，整理真实世界数据，并使用 Encord’s 平台验证输出，以训练其工业检测机器人识别液体洒漏以及各次设施巡检之间的其他变化。

ANYbotics 正借助 Encord 生成异常片段，由 NVIDIA Cosmos Data Factory 提供支持。

Ultralytics，一家计算机视觉公司，使用真实图像以及利用 Cosmos Data Factory 生成的针对性合成缺陷重新训练了其 YOLO 模型，从而提升了缺陷定位能力与召回率。

训练、适配和优化模型

训练数据准备就绪后，开发者可以训练自己的架构，或从预训练模型开始。

在 GTC Berlin，NVIDIA 将 Cosmos Framework 的训练、优化和部署工具与配方作为智能体技能扩展到更多开放模型，并一同带来 Cosmos 3，为世界模型构建者提供从实验到部署的更快路径。

开发者和智能体现在可以通过微调和强化学习，适配 GR00T、Alpamayo、QWEN、Pi0.5 及其他兼容的 Hugging Face 模型，通过蒸馏和量化优化模型，并以高性能推理进行部署。

Diagram of a model builder agent using skills and open model backbones to prepare data, train, fine-tune, apply reinforcement learning, and optimize world models for inference. — Cosmos Framework 是一个开放的模块化框架，汇集模型训练与优化工具及技能，用以加速世界模型开发。

为开发专门用于以自我为中心操作的世界模型，机器人研究实验室 MicroAGI 在人类操作物体的视频上对 Cosmos 3 进行了后训练，并将其 320 亿参数的推理器蒸馏为 80 亿参数的 Nano 模型，准确率没有任何损失。

开发者可以在 Roboflow 上标注数据，并针对其特定环境和任务对 Cosmos 3 进行后训练，然后将这些模型部署到 RoboFlow 托管或本地部署的 NVIDIA GPU 上，从而把视频推理引入工厂和仓库。

更快地测试策略并运行模型

除这些工具外，NVIDIA 还通过在 Cosmos 模型方面的工作，持续推进基础技术。

新的 Cosmos 3 Nano 模型变体面向仿真，使开发者能够在可重复、难以采集的多视角多传感器场景中测试自主策略。随附代码允许开发者适配这些模型，以便在真实世界测试之前，于交互式仿真中训练和评估其用于自动驾驶车辆与双臂机器人的自有策略。

Cosmos creates videos using a starting image from each camera, a short description of each view, WSM controls and one LiDAR scan of the surroundings. — 用于在闭环仿真中评估策略的多视角与多感官视频数据生成。

开发者可以使用更新后的 NVIDIA Cosmos 3 NIM 微服务部署核心 Cosmos 模型；在经过验证的配置中，推理速度最高可提升 2 倍且无质量损失，同时持续视频分析可实现亚秒级告警。

对于视觉 AI 开发者，全新的用于视频搜索与摘要的 NVIDIA Metropolis Blueprint (VSS) 3.3 基于 Cosmos NIM 微服务构建，能将一个提示词转化为高效的视频 AI 应用，并帮助团队用相同的 GPU 多监测 40% 的视频流。

ADNOC 使用 Fogsphere 的 MistIQ 智能体平台，基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建，可在 65 个站点实时检测安全隐患。对于罕见事件，Fogsphere 还使用 Cosmos Data Factory 生成合成训练数据，从而在无需实际布置危险场景的情况下提升检测能力。

Cosmos 平台完全模块化且开放。开发者可以使用 Cosmos Data Factory 生成训练数据集，使用 Cosmos Framework 训练并适配世界模型，然后部署受支持的 通过 NIM 微服务提供的 Cosmos 模型。

阅读全部 NVIDIA 欧洲公告