当大模型从“会生成”走向“会推理、会思考”，强化学习后训练正在成为模型能力提升的重要环节。在 GRPO、PPO、RLVR 等后训练过程中，模型需要针对大量 Prompt 进行多次 Rollout，生成多个 Response 或 Trajectory，再根据 Reward 完成策略更新。Rollout 数量和上下文长度持续增长，也让 KV Cache 从 GPU 内部的临时缓存，逐渐成为影响训练效率的新型数据。

■ 为什么后训练会产生大量 KV Cache

强化学习后训练的核心特点之一，是同一个训练 Prompt 往往需要进行多次 Rollout。模型针对同一个 Prompt 生成多个 Response 或 Trajectory，再结合 Reward 对模型进行优化。典型流程如下：

Training Prompt → Policy Model → 多个 Rollout → Reward → Policy Update

当 Prompt 较长时，模型首先需要进行 Prefill，并形成对应的 Prefix KV。随后多个 Rollout 都可能基于相同的 Prefix 继续生成。如果每一次 Rollout 都重复计算相同 Prefix，就会带来大量重复 Prefill 开销。

■ 典型业务与用户所面临的挑战

■ 从“单卡缓存”走向“共享 KV Storage”

传统方式下，KV Cache 更多停留在 GPU HBM 内部，生命周期与单次任务紧密相关。当 Rollout 数量不断增加时，GPU HBM 容量就容易成为并发规模的限制因素。

瑞网广通 AI KV Cache 存储方案可以建立独立的 KV Cache Storage，为多个 Rollout Worker 提供共享 KV Cache，将 Prefix KV 的复用与 Offload 纳入统一存储体系。

其核心思路如下：

多个 Rollout Worker 共享独立 KV Cache Storage，实现 Prefix KV 复用与 Offload

■ 用户可以获得什么

✓ 减少重复 Prefix Prefill    

✓ 扩大 Rollout 并发规模   

✓ 降低 GPU HBM 压力  

✓ 提升 GPU 集群训练效率  

✓ 支撑 TB～PB 级 KV 工作集 

■ 结语｜从 Cache 到 AI Context Memory

当后训练从小规模实验走向大规模 Rollout，KV Cache 不再只是 GPU 内部的一块缓存，而开始成为需要被统一管理、共享和 Offload 的训练数据。对于大规模强化学习后训练集群而言，瑞网广通 AI KV Cache 存储通过共享 KV Storage 可以成为连接 GPU 算力与 Rollout Context 的关键存储层。

瑞网广通 AI KV Cache 存储 · 五大典型AI应用场景· 产品场景介绍