Mistral AI 以公开预览发布开源 Search Toolkit

今天，我们以公开预览形式发布 Search Toolkit。Search Toolkit 是一个可组合框架，用于为 AI 应用构建生产级搜索流水线。我们构建它，是因为搭建搜索基础设施的团队仍然把太多工程时间花在底层管道对接上。大多数团队把用于摄取、检索和评估的独立工具拼接在一起，每种工具都有自己的接口，以及对数据的各自假设。Search Toolkit 将这三者纳入一个具有共享接口的单一框架，让团队把时间花在提升搜索质量上，而不是维护集成。Search Toolkit 是开源的，可在你的基础设施所在之处运行。云端、本地、边缘。

搜索基础设施仍然比应有的更难。

大多数构建检索系统的团队，花在组装基础设施上的时间多于提升搜索质量的时间。摄取需要一套工具。检索需要另一套。评估即便真的进行，也是用单独的框架，以及对数据形态的单独假设硬接上去的。

团队表示，在能够对自己的数据运行哪怕一次查询之前，需要数周的集成工作。衡量检索器是否返回了正确结果，往往还需要另一套工具链。对于构建 RAG 工作流或内部知识系统的组织而言，这种开销会在每一层成倍增加。

它适用于何处。

企业搜索。 大多数组织并不是只有一个搜索问题。他们有十几个搜索问题。内部 wiki、支持工单系统、文档仓库、文件存储、代码库。每个来源的结构不同、元数据不同，要很好地建立索引也需要不同的处理。团队通常最终为每一个来源分别构建摄取流水线，各有自己的解析逻辑、自己的分块策略，以及自己对“文档”长什么样的假设。结果是一组无法一起搜索的孤立索引，或者一个试图统一它们、自身却成为维护负担的脆弱定制层。Search Toolkit 在单一框架内为不同来源类型提供一致的处理与索引模式，因此团队可以添加新来源，而无需每次重建流水线。

RAG 与检索质量。 当 RAG 系统返回较差结果时，第一个问题是问题出在检索还是生成。在实践中，大多数团队没有清晰的办法来回答这一点。他们调整提示、修改分块策略、更换模型，却不知道检索器一开始是否呈现了正确的上下文。即便是确实专注于检索的团队，也常常缺乏工具，无法在自己的数据上、依据自己的相关性判断来严格比较各种策略。替代做法是为每次实验编写定制评估脚本。Search Toolkit 包含内置评估，可独立衡量检索器性能，因此你可以将检索质量与生成质量隔离开来，并在语料演进时比较各种配置。

领域特定检索。 法律文书、医疗记录、代码库、财务披露。现成的检索器在通用文本上训练，往往难以应对专业术语、文档结构，以及不同于网页搜索的相关性标准。需要领域调优检索的团队，常常最终从零构建定制检索基础设施，维护成本高，也难以评估。

智能体世界中的搜索

承担企业任务的智能体需要访问企业上下文。它们会自主且大量地做出检索决策，因此其底层搜索基础设施的质量会直接影响每一个下游步骤。在大型文档语料库中搜索时，智能体会对索引执行语义搜索，从而以低延迟获得精确结果。

智能体同样需要实时数据。借助 Connectors，它们可通过 MCP 集成直接从 CRM、代码仓库和生产力工具等源系统拉取数据。当需要在大量内容中搜索时，智能体可以查询已建立索引的语料库；当需要最新状态时，则从源系统拉取实时数据。Search Toolkit 为你的智能体提供一条高质量的索引搜索路径，可与实时检索一并调用。

里面有什么。

数据摄取。 通过可配置流水线对多个来源的数据进行索引和处理。Search Toolkit 负责文档解析、分块和嵌入生成。自定义文档格式与预处理步骤可通过标准适配器接口接入。

检索。 Search Toolkit 内置 BM25 稀疏检索、基于稠密嵌入的检索，以及结合二者的混合配置。每一种都可根据你的数据和使用场景进行配置。

评估。 使用内置指标衡量搜索质量：recall、precision、MRR 和 NDCG。针对你自己的测试集运行评估，并排比较检索器配置，并跨版本跟踪质量。

所有模块共享同一配置接口。替换索引器、更换检索器、添加评估器，流水线的其余部分都会相应适配。

Search Toolkit 专为企业级高级使用场景设计，并已在金融服务、制造业、公共部门以及媒体与娱乐等垂直行业经过实战检验。CMA CGM 将 Search Toolkit 与 Voxtral 配合使用，帮助记者检测假新闻。该流水线处理来自三个不同数据源的音频，并在 15 秒内端到端返回警报。

观看演示

开始使用。

试用 Search Toolkit 的最快方式是使用我们的 入门应用模板。

前提条件

安装

Docker

。你还需要

在生成的项目中。

搭建新项目

uvx copier copy gh:mistralai/search-starter-app my-search-project
cd my-search-project

运行它

# Start Vespa locally with Docker
make setup-vespa
# Index sample data
make ingest path=sample_data/hello.txt
# Run a query
make search query="hello world"

该模板包含：

预配置的 Vespa 索引
混合检索（BM25 + 向量）
示例数据与摄取流水线

完整详情请参阅入门应用 README。

接下来

试用过入门应用之后，可以进一步深入了解：

调优你的摄取流水线 – 配置解析器、分块策略、嵌入模型，以及面向特定文件类型的提取器，以处理你的数据源。
管理 Vespa schema & 相关性 – 针对你的使用场景优化索引和排序配置。
构建你理想的检索 – 利用 LLM 查询改写、重排序和混合检索等高级功能。

完整参考请参阅 Search Toolkit 文档。