Reflection AI 发布开源权重模型 Beam，可在 AWS SageMaker 部署

Reflection AI 推出了 Beam，这是一款用于智能体编程和长周期任务的开放权重模型，例如维护代码、使用工具、解读结果以及完成多步骤工作流。开放权重版本让开发者和研究人员能够掌控运行时、部署环境和定制过程。

在本文中，我们阐述 Reflection 的愿景，并展示如何在 AWS 上部署 Beam。若要走完全托管的路径，可从 Amazon SageMaker JumpStart 实时端点开始。当你需要对分布式 GPU 基础设施进行 Kubernetes 原生控制时，请将 Amazon SageMaker HyperPod Inference 与 JumpStart、SGLang 或 vLLM 配合使用。我们还将说明 Beam 共计 5010 亿参数如何影响检查点存储、权重内存、分片和并行，而其 230 亿激活参数如何影响每 token 的计算量。

发布时，Beam 已在美国东部（弗吉尼亚北部）和美国东部（俄亥俄）的 Amazon SageMaker JumpStart 中提供。

Reflection 的开放智能愿景

Reflection 的使命是通过开放模型权重、已发表的研究以及开源软件，让智能向所有人开放且可及。其完整 AI 技术栈涵盖模型、核心软件、生产基础设施和应用。Beam 将这一方法带给正在构建软件工程和智能体系统的开发者。

关于 Reflection Beam

Beam 是一种稀疏混合专家模型，用于解决软件问题、修改代码、调用工具并依据中间结果采取行动。它拥有 5010 亿总参数和 230 亿激活参数，Reflection 报告其有效上下文长度为 100 万 token。

Reflection 通过 Hugging Face 以 Apache 2.0 许可证发布 Beam 的权重。Beam 1.0 提供 BF16、FP8 和 NVFP4 检查点变体。这些格式具有不同的内存占用和硬件兼容性。你可以使用 AWS 托管的 JumpStart 容器配置部署该模型，也可以在 AWS 环境中使用 SGLang 或 vLLM 检查并定制该模型。

了解部署架构

选择符合你的控制与扩展需求的服务路径。

当你希望获得 AWS 托管的模型包、端点和调用 API，而无需运维 Kubernetes 时，请从 SageMaker JumpStart 实时端点 开始。
当你希望在由 Amazon Elastic Kubernetes Service（Amazon EKS）编排的 HyperPod 集群上使用 AWS 托管的容器和模型配置时，请使用 HyperPod Inference 上的 JumpStart。
当你需要控制服务镜像、运行时参数、量化或分布式执行时，请使用 HyperPod Inference 上的 SGLang 或 vLLM。
根据检查点存储、权重内存、KV 缓存、上下文长度、批处理、运行时开销以及所支持的并行方式来确定部署规模。
先确定预期的并发和延迟目标，再根据实测的工作负载行为配置副本、缓存、路由和自动扩缩。

JumpStart 实时路径将模型、容器和端点封装在托管部署工作流之后。HyperPod 路径则开放集群和服务运行时，以便你控制分布式执行、缓存、路由和扩展。

下图展示了 HyperPod 路径所使用的组件。可通过 SageMaker JumpStart、Hugging Face Hub 或可选的 Amazon Simple Storage Service（Amazon S3）镜像获取 Beam。分布式工作节点使用 AWS 托管的 JumpStart 容器，或自定义的 SGLang 或 vLLM 运行时。

图 1：使用 Amazon SageMaker HyperPod Inference 进行分布式 Beam 部署

先决条件

您需要：

一个 AWS 账户，具备所选 SageMaker 部署路径及其配套的 AWS Identity and Access Management（IAM）、网络和存储资源的权限。
通过 SageMaker JumpStart 或 Hugging Face 上的某个 Beam 1.0 检查点仓库访问 Beam。
接受模型条款、AWS Command Line Interface（AWS CLI），以及 Python 3.11 或更高版本。
受支持的 Beam 配置所需的 GPU 配额和容量。

规划并获取 GPU 容量

Beam 总计 5010 亿个参数，需要多 GPU 部署。BF16 的权重内存需求最大，因此请规划具有足够聚合 GPU 内存以容纳权重和运行时开销的多节点配置。对于 FP8，请将 ml.p5.48xlarge 与 NVIDIA H100 GPU 搭配使用，或将 ml.p5e.48xlarge 和 ml.p5en.48xlarge 与 H200 GPU 搭配使用。对于 NVFP4，请将 ml.p6-b200.48xlarge 与 NVIDIA B200 GPU 搭配使用。请确认已发布的检查点、运行时和并行布局支持所选实例类型。

计算单个副本的权重、KV 缓存和运行时开销所需内存，然后通过负载测试确认该估算。
选择支持所需加速实例的 AWS 区域。
检查所选实例类型的服务配额和可用容量。在可用时使用按需容量，或使用 SageMaker 训练计划作为计划内工作的短期预留。
为镜像传输、权重下载、分片加载和运行时初始化预留时间。

路径 1：从 SageMaker JumpStart 实时端点开始

如果您希望以最短路径从模型目录到达托管 HTTPS 端点，请首先使用 JumpStart 实时端点。该示例通过一条可识别变体的命令支持 BF16、FP8 和 NVFP4 模型 ID。其 README 和 Python 文件是受支持实例类型、请求 schema、部署命令和清理命令的权威来源。

Clone the sample repository.

git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

Enter the SageMaker JumpStart deployment sample directory.

cd sagemaker-genai-hosting-examples/01-models/ReflectionAI/Beam-1.0-501B-A23B-NVFP4/

Create and activate a Python virtual environment.
```
python3 -m venv .venv
source .venv/bin/activate
```

Install the sample dependency.

python -m pip install -r requirements.txt

Run the bounded deployment, invocation, and cleanup lifecycle for FP8.
```
python jumpstart_real_time.py \
--variant fp8 \
--endpoint-name reflection-beam-fp8-smoke
```
该命令会部署 FP8 端点、发送一条简短请求、打印响应并清理端点。使用 bf16 或 nvfp4 可选择其他检查点变体；省略 --variant 时默认使用 NVFP4。如果您需要保持端点持续运行，请使用 README 中的 Python 函数。

路径 2：使用 SageMaker HyperPod Inference 部署

当您需要对分布式 GPU 基础设施进行 Kubernetes 原生控制时，请使用 HyperPod Inference。您可以使用 AWS 托管的 JumpStart 容器配置，或使用 SGLang 或 vLLM 部署 Beam。HyperPod Inference 部署示例 README 及其配置文件是已发布清单、模型和镜像标识符、受支持运行时版本以及命令的权威来源。

开始之前，请配置 kubectl 对由 EKS 编排、并具备 HyperPod Inference Operator 及所需附加组件的 HyperPod 集群的访问权限。您还需要该集群的虚拟私有云（VPC）、子网、安全组、对所选 Beam 和运行时构件的访问权限，以及在启用模型缓存时的本地 NVMe 容量。如果所选仓库需要身份验证，请使用隔离的 Hugging Face 访问令牌。

从 Hugging Face Hub 部署固定的 Beam 修订版本，用于开发和实验。对于生产部署和模型缓存，请将检查点复制到 Amazon S3 或 Amazon FSx。HyperPod 模型与镜像缓存可将权重预加载到节点本地 NVMe 存储，并预先拉取服务镜像。

HyperPod Inference Gateway 提供与 OpenAI 兼容的接口，并在各副本之间路由请求。HyperPod Inference 还支持托管分层 KV 缓存和智能路由。这些属于 2026 年推出的 Amazon SageMaker Inference 功能。

下一张图展开了模型准备和运行时请求流程。启用模型缓存后，Inference Operator 会用所选权重和服务镜像预热符合条件的节点。运行时，Inference Gateway 和 Endpoint Picker 可将每个请求导向合适的 JumpStart 托管、SGLang 或 vLLM 副本。

图 2：HyperPod 模型缓存与请求路由

准备部署工件

使用不可变输入，以便复现部署和性能结果。

使用部署示例中记录的 JumpStart 模型版本。
为自定义运行时选择 BF16、FP8 或 NVFP4 检查点。
对于自定义运行时，请在示例发布配置中保留公开的 Beam commit SHA 和镜像摘要。
仅当集群无法拉取上游镜像，或组织要求使用已批准的注册表时，才将已发布镜像同步到私有 Amazon Elastic Container Registry (Amazon ECR) 仓库。
请勿将令牌、生成的密钥、私有模型 ID、注册表凭证和未发布的结果放入仓库。

选择服务路径

除非工作负载需要特定的推理运行时或配置，否则请从 SageMaker JumpStart 开始。

服务路径	适用场景	您需要管理的内容
SageMaker JumpStart	您希望使用 AWS 托管的容器和模型配置，并减少运行时维护。	选择 Beam 模型版本、支持的实例类型、端点配置和扩缩策略。
SGLang 或 vLLM	您需要特定的推理运行时或配置，例如自定义运行时参数、解析器、量化或并行方式。	固定受支持的运行时镜像、模型修订版本、解析器配置和分布式执行设置。

使用 SageMaker JumpStart 部署

SageMaker JumpStart 可减少容器集成工作，同时 HyperPod 仍掌控集群容量、扩缩和可观测性。

在 SageMaker Studio 中，打开 JumpStart 模型目录。
在 所有公共模型 下，选择 Beam。
选择 SageMaker HyperPod 作为部署目标。
选择集群和 Kubernetes 命名空间。
输入端点名称，然后选择部署。
在使用已发布的 JumpStart 请求架构调用端点之前，请确认部署状态。

对于基础设施即代码工作流，请使用 HyperPod 示例中已发布的 JumpStart 配置。配置部署之前，您可以查看 reflection-beam-jumpstart.yaml 清单模板。

Clone the sample repository, and enter the HyperPod Beam directory.

git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git
cd sagemaker-genai-hosting-examples/SageMakerHyperpod/reflection-beam/

Create the local configuration files described in the README.

cp config/deployment.env.example config/deployment.env
cp config/release.env.example config/release.env

Validate the JumpStart configuration before changing the cluster.

python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  validate jumpstart

Deploy the JumpStart configuration.

python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  deploy jumpstart \
  --timeout-seconds 1800

该辅助工具会渲染并应用已发布的 JumpStartModel 资源，而不会将填充后的发布值写入磁盘。

使用 SGLang 或 vLLM 部署

当你需要对服务运行时进行直接控制时，请选择 SGLang 或 vLLM。配置部署之前，请检查 reflection-beam-sglang.yaml 清单模板或 reflection-beam-vllm.yaml 清单模板。示例 README 仍是已发布数值和命令的权威来源。

Clone the sample repository.

git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

Enter the HyperPod Beam directory.

cd sagemaker-genai-hosting-examples/SageMakerHyperpod/reflection-beam/

Create the local configuration files described in the README.

cp config/deployment.env.example config/deployment.env
cp config/release.env.example config/release.env

Validate the selected configuration before changing the cluster.

python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  validate sglang

Deploy Beam, and wait for a terminal deployment state.
```
python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  deploy sglang \
  --timeout-seconds 1800
```
将 sglang 替换为 vllm 即可使用 vLLM。该辅助工具会验证所选设置，应用渲染后的清单且不将发布值写入磁盘，以固定超时等待，并在部署失败时打印诊断信息。

调用 Beam

使用已发布的模型请求模式调用 JumpStart 端点。对于 SGLang 或 vLLM，请使用 HyperPod 示例中包含的有界冒烟测试。

调用已部署的端点

Install the sample client dependency.

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt

Run a private health check and short request with the recommended starting sampling settings.
```
python hyperpod_tool.py \
--config config/deployment.env \
smoke sglang \
--prompt "List three checks for a healthy model deployment." \
--temperature 1.0 \
--top-p 0.7
```
对于 vLLM 部署，将 sglang 替换为 vllm。该辅助工具会选择一个就绪的 worker，打开临时端口转发，检查端点健康状况，发送请求，然后关闭端口转发。

响应类似于以下内容：

1. Confirm that the endpoint reports ready.
2. Send a short inference request.
3. Review the service logs for startup errors.

对于经过身份验证的 Inference Gateway，请使用 HyperPod 示例 README 中的 bearer-token 流程。请勿将凭证放入源代码、清单和命令历史记录中。

测量并调优性能

以预期并发度，使用重复的、有代表性的编程和工具使用请求测试每条服务路径。
记录 Beam 模型版本、镜像摘要、实例类型、精度、上下文长度、并行度、服务参数、缓存状态和测试重复次数。
测量请求成功率、首 token 时间的 p50 和 p95、每个输出 token 的时间、端到端延迟以及每秒聚合输出 token 数。
根据这些结果调优批大小、KV 缓存分配、副本数量、自动扩缩以及模型和镜像缓存。
在更改精度或量化后重新检查输出质量。

清理

测试完成后删除资源，以避免持续产生费用。

对于 SageMaker JumpStart 实时端点，请遵循 SageMaker JumpStart 部署示例 README 中的清理说明。
对于 Amazon SageMaker HyperPod Inference 上的 JumpStart、SGLang 或 vLLM，请遵循 HyperPod Inference 部署示例 README 中的清理说明。
删除为本演练创建的专用 HyperPod 或 Amazon EKS 集群。
删除未使用的缓存权重、已镜像的构件、负载均衡器、日志组、临时 IAM 角色以及捕获的推理数据。

结论

Reflection Beam 为开发者提供专为智能体编程和多步骤任务设计的开放权重模型。若要获得完全托管的部署，请从 SageMaker JumpStart 实时端点开始。当你需要 Kubernetes 原生的基础设施控制且无需管理服务容器时，请将 SageMaker HyperPod Inference 与 JumpStart 结合使用；当你需要自定义运行时时，请选择 SGLang 或 vLLM。

使用 SageMaker JumpStart 部署示例或 HyperPod Inference 部署示例，然后按照说明操作。

要进一步了解 Reflection AI 及其开放智能愿景，请访问 Reflection AI 并阅读介绍 Beam。

资源

Reflection Beam 检查点变体：BF16、FP8 和 NVFP4
SageMaker JumpStart 部署示例
包含 JumpStart、vLLM 和 SGLang 的 HyperPod Inference 部署示例
将基础模型从 SageMaker JumpStart 部署到 HyperPod Inference
Amazon SageMaker Inference 2026 年迄今发布回顾

关于作者

Clement Perrot

Clement 是 Reflection AI 的创始应用 AI。加入 Reflection AI 之前，他曾在 AWS 的 Generative AI Innovation Center 工作，并创办了 AI 与消费硬件初创公司，其中两家已被收购。

Florent Gbelidji

Florent 是 Reflection AI 的开源工程负责人兼技术团队成员。加入 Reflection AI 之前，他曾主导 Hugging Face 与 AWS 的云合作，并担任机器学习工程师，帮助企业构建开源 AI 解决方案。

Daniel Quang

Daniel 是 AWS Frontier AI Startups 团队的解决方案架构师，帮助全球规模最大、最具战略意义的生成式 AI 初创公司在 AWS 上扩展其基础设施。他拥有加州大学尔湾分校计算机科学博士学位，研究方向为机器学习与生物信息学。

Hadrien Almela

Hadrien 是 AWS Startup 团队的高级 Frontier AI 客户经理，帮助顶尖 AI 初创公司建立技术集成与全球市场推广合作。他在初创领域拥有八年经验。Hadrien 现居加利福尼亚州旧金山，喜欢潜水、冲浪以及前往充满异域风情的地方旅行。

Dan Ferguson

Dan 是 AWS 的高级全球生成式 AI 专家解决方案架构师，常驻纽约。他帮助客户高效、有效且可持续地集成机器学习与生成式 AI 工作负载。

Daniel Wirjo

Daniel 是 AWS 的解决方案架构师，专注于 AI 与 SaaS 初创公司。作为前初创公司 CTO，他乐于与创始人及工程负责人合作，在 AWS 上推动增长与创新。工作之余，Daniel 喜欢手捧咖啡散步、欣赏自然，并学习新想法。

Sureshkumar Natarajan

Sureshkumar 是 Amazon Web Services 的高级技术客户经理。他帮助企业客户加速其云现代化进程，并隶属于支持 AWS Transform custom 的下一代开发者体验技术现场社区。