Mistral 发布时序基础模型家族 Timestral

思考

摘要

Timestral 是 Mistral 的首个时间序列基础模型系列，仅以 209M 参数即可提供最先进的概率性多变量预测，在关键基准上超越更大的模型，同时支持过去与未来协变量。该系列提供四种规模（5M 至 209M 参数），在准确率与效率之间取得平衡，可在 CPU 上高效运行，并在多个领域的零样本预测中表现优异。该模型结合了合成预训练、协变量感知注意力和长上下文学习，并可通过 Mistral Forge 进行微调以实现领域适配。

今天，我们发布 Timestral，我们的首个时间序列基础模型系列。我们最大的模型仅有 209M 参数，在该领域全部三项主要公开基准 GIFT-Eval、TIME 和 fev-bench 上均排名第一，仅用三分之二的模型参数便超越了此前的最先进水平。

Timestral 提供概率性多变量预测，并支持仅过去协变量与已知未来协变量。我们的模型系列处于预测准确率与模型规模的帕累托前沿，在各个规模上都提供领先性能。结果已提交至 GIFT-Eval 和 TIME 排行榜。

时间序列是企业中最常见的数据类型之一，从传感器遥测到可观测性指标皆是如此。基于时间序列的预测驱动着产能规划、能源、供应链、风险与维护方面的决策。

工业工厂根据生产计划预测过程传感器数据，在设备失效前捕捉设备漂移，并在数千项资产上规划产能与备件。金融团队预测资金流、交易量与波动率，为数千个账户的头寸、对冲和财资决策提供依据。

ARIMA 和线性回归等经典模型仍是成熟的时间序列预测工具。这些模型通常针对单一序列拟合，只从该序列的历史中学习。

PatchTST 等深度学习模型增加了跨多个相关序列学习非线性模式的能力，但它们通常仍需在每个数据集上从头训练，因此所学内容无法迁移到新领域。

时间序列基础模型将预训练方法引入时间序列。我们的模型在大规模、多样化的语料上训练，学习可跨序列迁移的模式，即使在数据稀缺的领域，也能对从未见过的数据进行零样本预测。

基准测试结果

我们在三大主要公开预测基准上评估了 Timestral：GIFT-Eval、TIME 和 fev-bench。在预训练的零样本模型中，它在全部五项指标上均排名第一。这些结果来自单一检查点，未经集成。

GIFT-Eval，83 个可比较的预训练与零样本条目中的前十名。越低越好。

TIME，35 个排行榜条目中的前十名。两项指标均越低越好。

fev-bench，按 SQL 技能分数计，37 个排行榜条目中的前十名。越高越好。

针对各项规格优化的模型系列

Timestral 已被优化为一个包含四种模型的系列：5M、28M、123M 和 209M 参数。较大的模型提升预测性能，较小的模型则更快、更便宜。四种模型共享相同的架构与训练配方。每个规模都处于准确率与模型规模的帕累托前沿：在每个模型规模上，没有公开模型的预测表现更好。

在 GIFT-Eval、TIME 和 fev-bench 上的得分与模型规模对比（以 1 − skill score 表示）。越低越好。我们的 28M 模型在 GIFT-Eval 和 TIME 上击败了规模约大四倍的 Chronos-2。我们的 209M 模型以更少的参数击败了 TimesFM-3 和 Falcon-2.0。

Timestral 在推理时不需要 GPU。在配备 8 个线程的标准服务器 CPU 上，根据三周、粒度为 15 分钟的历史数据预测未来一天，5M 模型耗时 10 ms，209M 模型耗时 140 ms。较小的模型以部分精度换取速度：28M 模型比 209M 模型快五倍，123M 模型的得分与 209M 模型相差不超过 0.2%，延迟却只有其四分之三。

一个工业示例

设想一座工厂，其设备上分布着数千个传感器。Timestral 可以通过多种方式改进这些数据上的预测。

多变量预测。泵的振动、温度和压力并非独立变化。其中一个上升，往往可以解释或导致另一个发生变化。Timestral 对相关序列进行联合建模，从而利用这些依赖关系，而不是孤立地预测每个传感器。

概率预测。单一预测值可能无法呈现全貌。Timestral 预测一整组分位数，因此团队可以看到不确定性的范围有多大，据此设置反映该不确定性的告警阈值，并围绕风险而非单一数值来规划维护。

类别协变量。有些协变量的取值来自一组类别，而非连续数值，例如星期几，或机器的状态（运行、空闲、维护中）。将这些编码为数字会强加它们并不具备的顺序或尺度。Timestral 直接将它们作为类别输入，以改进预测。

已知未来协变量。传感器行为的某些驱动因素是预先已知的，例如生产计划、计划停机、天气预报。Timestral 可以据此进行条件预测以提高预测质量，从而使计划中的负荷增加被预期到，而不是被标记为意外。

从模型到系统

Timestral 是一个数值模型，可以在现有监控流水线中运行，或与我们的语言模型搭配，用于多模态智能体工作流。

在工厂中，这可能是这样的：

1. Timestral 持续运行于工厂的传感器数据流上，在异常发生时将其检测出来。

2. 当它标记出某台泵的异常时，智能体对这些信号进行嵌入，并与历史传感器数据的嵌入进行比对，以找出相似的历史故障。

3. 随后，该智能体启动子智能体进行根因分析，并利用该工厂的上下文，例如维护记录、班次日志和操作员笔记、设备手册、历史工单，以及相关设备的读数。

4. 智能体根据分析结果起草建议诊断，并附上支持证据和可能的后续步骤。

工厂管理者获得的是有传感器数据支撑的诊断和计划，而不仅仅是一条告警。

关键技术贡献

若干思路被结合起来才产生了这些结果。每一项都将在技术报告中详细说明。

1. 解耦视野预测。 像 Toto 2.0 和 TimesFM-3 那样，以连续 patch 掩码训练的因果解码器会把待预测的值掩掉，使它们看起来像缺失值，并且也无法再作为后续预测的上下文。我们的方法 DHF 将这两者分开：完整历史保留在序列中，学习得到的预测 token 读取其之前的历史。因此，每个观测值既作为目标也作为上下文，真正的缺口仍被标记为缺失，训练视野长度与缺失数据增强可以彼此独立调节。

2. 协变量感知注意力。 每个输入序列都被赋予一个角色：目标变量、仅过去协变量或已知未来协变量。已知未来协变量在整个窗口内可见，而目标保持因果，信息只从协变量流向目标。因此，Timestral 可以使用假日日历或天气预报，而不会把目标自身的未来泄漏到其预测中。

3. 合成数据优先。 大部分训练数据是合成的。我们首先生成具有连贯时间动态的单变量过程，包括趋势、季节性以及多样的噪声模式。然后，我们使用多变量合成器，通过在这些过程之间引入非线性依赖来构建多变量序列。

4. 两阶段训练。 Timestral 首先在纯合成数据上以上下文大小 8192 进行大规模预训练，再在真实与合成数据的混合上以 4 倍更长的上下文进行后训练。目标是覆盖 21 个分位数的 pinball 损失，即 CRPS 的离散近似。

一个可以适配的模型

公开基准衡量的是通用性能，但生产数据在行为与结构上可能显著不同。它也可能随时间变化：市场切换状态、设备老化、需求模式发生移动。持久的价值在于能够把模型适配到领域内数据，并在分布移动时持续重新训练。

对于希望更进一步的组织，Timestral 可通过 Mistral Forge 获得，这与我们用于语言模型的训练流水线相同。它支持：

• 零样本推理，开箱即用。

• 架构扩展，例如领域特定协变量。

• 在专有数据上微调，在保持通用性能的同时专精于某一领域。

• 对训练数据的控制，包括调整训练配比、回放预训练数据，以及生成反映目标领域的合成数据样本。对数据的完全控制确保我们回测的任何内容在预训练期间都未被见过。

完整流水线可以部署在我们客户的硬件上，包括气隙环境。

下一步

我们已发布一个 GitHub 仓库，以便你在自己的数据上运行 Timestral。包含完整结果的技术报告将随后发布。如有更专门的预测问题，或希望合作研究，请联系我们。