DeepSeek开源推理引擎DeepInfer，用于服务V4.1-Flash
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
DeepSeek以Apache License 2.0开源内部推理框架DeepInfer，用它让V4.1-Flash在规模化场景下快速生成回答。该框架基于vLLM，包含优化计算内核、多芯片分布式处理和更快的文本生成技术，未来模型代码也将开源。公司同时发布deepseek-recipe，用于复现官方API的token处理，使自托管行为与线上一致，并表示希望帮助社区降低算力成本、能耗并让AI更可负担。
Deepseek 已依据 Apache License 2.0 开源其内部推理框架 DeepInfer。推理是训练完成的 AI 模型处理请求并生成回复的方式。DeepInfer 是服务软件，让 Deepseek 的 V4.1-Flash 模型能够大规模快速生成答案。
该框架基于 vLLM 构建，具备优化的计算内核、跨多芯片的分布式处理，以及更快的文本生成技术。未来 Deepseek 模型的代码也将以开源形式发布。Deepseek 还发布了 deepseek-recipe，它复现了官方 Deepseek API 的 token 处理方式，使自托管部署的行为保持一致。
Deepseek 的模型本就已经非常便宜。DeepInfer 补上了让它们以更低成本运行的最后一块缺口。其目标是“帮助社区降低计算成本、减少能源消耗，并让 AI 更加可负担”，该公司在 X 上表示。但此次发布也给 OpenAI 和 Anthropic 等西方供应商带来了价格压力。鉴于中美之间的 AI 竞赛，此举也可能带有政治动机。如果西方 AI 公司未能达成增长目标，那将对美国经济乃至更广泛的范围构成风险。
没有炒作的 AI 新闻 – 由人工精选
订阅 THE DECODER，即可享受无广告阅读、每周 AI 通讯、每年六期独家“AI Radar”前沿报告、完整存档访问权限，以及评论区访问权限。
来源：The Decoder · the-decoder.com