Granite Switch 4.1 用同一端点处理对话、决策与语音
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
Granite-Switch-4.1-8B 与 Granite-Switch-4.1-30B 可从同一托管端点在自然语言回复、通用及专项决策和语音转文字之间切换。
去年春天推出的 Granite Switch 项目使模型开发能够采用模块化方法。如今，配备 Decision 适配器以及 OpenASR 排行榜上最快 ASR 模型的 Granite Switch 4.1 模型，可以在自然语言回复、通用决策与专用决策以及语音转文本任务之间高效切换——全部通过同一个托管端点完成。
具体而言，Granite-Switch-4.1-8B 和 -30B 模型被配置为包含：
- 一个用于通用决策的全新 Decision aLoRA（例如 v1/systemone），
- 一个专用的 Guardian aLoRA，在安全相关决策任务上平均优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash，以及
- Granite-Speech-5.0-Turbo-CTC，OpenASR Leaderboard 上最快的 ASR 模型，已嵌入以用于转录任务。
这三项技术（连同底层基础模型）被组合为一个模型，在 GPU 上占用的 VRAM 大约与基础模型单独占用的相同。这意味着用更少的 GPU 获得更多能力。
而且，由于 Switch 适配器被构建为缓存高效的 Activated LoRAs，基础模型生成时所创建的 KV cache 可被后续任何基于适配器的决策复用。结合我们团队为加速低秩适配器推理所做的 近期 vLLM 贡献，以及共置的 ASR 编码器，Granite Switch 4.1 模型能够以极快的速度在聊天请求、决策请求和语音请求之间进行 切换。
Granite-switch-4.1-8b 可以转录音频、生成摘要、筛查有害内容，并测试 15+ 个通用标志——全部在单个端点上实时运行。
Granite Libraries：最初的决策模型
决策模型并非新鲜事物。我们此前发布的 Granite Libraries 提供了一个由专用“决策模型”适配器及其他专用任务适配器组成的仓库，这些适配器可组合为自定义的 Granite Switch 模型。尽管 Jev 及其他封闭式决策模型侧重于通用性，但我们发现，许多专用的 granitelib 适配器在专用分类任务上可以胜过通用模型。
比较 granitelib 适配器 与通用决策模型在专用分类任务上的评测表现。
由于适配器共享基础模型的 KV cache，在通用决策适配器之外再添加专用适配器几乎不增加成本。你既能从通用模型获得广泛覆盖，又能在你关心的任务上从专用模型获得更高准确率。
在 Granite-Switch-4.1-30B（冻结的基础 Granite + 4 个专用 aLoRA）与 Jev-27B（冻结的基础 Qwen 模型 + 1 个通用决策 LoRA）的“竞速”中，Granite-Switch-4.1-30B 能够比其竞争对手快得多地完成一个真实世界的 5 步 RAG 工作流。
组合并扩展你自己的 Granite Switch 模型
Granite-Switch-4.1-8B 和 -30B 以“开箱即用”的方式发布。它们是我们用一组预定义的实用适配器编译而成的 Granite Switch 模型。但你不必使用我们的版本。任何人都可以 组合自己的 Granite Switch 模型，从 Granite Libraries 中混合搭配适配器，以最好地满足自身需求。
展望未来，我们看到社区利用自定义和第三方适配器来组合并扩展 Granite Switch 模型的巨大机遇。我们计划在 Mellea 中发布用于训练适配器的 Adapter SDK，同时提供其他教程和 Granite Switch 支持。这些适配器可以是用于增强基于决策的工作流的专用分类适配器，也可以是用于专门语言任务的适配器。你甚至可以使用自定义适配器，教 3B 参数版本的 Granite 玩经典游戏 Doom。
与 Jev 类似，我们自定义的 3B 参数 Granite Switch 模型能瞬间做出决策以操控 Doom 游戏，但其速度可达 每秒 60 - 100 次决策，而 Jev 报告的速度为每秒 10 次决策。1 与 Jev 不同，这款 Granite Switch 模型在游玩时还能进行解说并回答你的问题。
我们期待在未来几周发布更多关于 Granite Switch 的细节和数据，但在此之前，我们鼓励你试用我们最新的 Switch 模型以及这些有助于入门的其他实用资源。
入门资源
- Granite Switch 4.1 模型卡
- 语音转决策演示
- Granite Switch GitHub 仓库
- 最初的 Granite Switch 与 Granite Libraries 发布博客
- 在 Colab 上创建你自己的 aLoRA 对 LoRA 竞速。
脚注
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev
来源：Hugging Face Blog · huggingface.co