FFS L3 复用让首 Token延迟降低 95.97%,吞吐提升 21.13 倍

2026-11-02 17:05:08 admin 0
PERF TEST · PD 分离实测

2026.11

长上下文复用,只能在 GPU 上算?

FFS L3 复用让首 Token延迟降低 95.97%

吞吐提升 21.13 倍


FFS AI KV Cache · NVIDIA H200 · vLLM PD 分离


NVIDIA H200FFS L3

在 2 台 H200 服务器(各 8 卡)上,用 vLLM + DeepSeek-V4-Pro 实测 FFS AI KV Cache 存储的 PD 分离部署:P 端按 GPU HBM → CPU DRAM → FFS L3 三级缓存,D 端仅用 CPU L2,构造 0% 冷 / 100% 热命中两组对照。

实测结果

21.13×

Token 吞吐量提升

95.97%

TTFT P50、P90、P95、P99 降幅均衡

99.5%

真实 L3 命中率

注:128K 输入 · 并发 32 工况

结论

不新增一块 GPU,P 端 FFS L3 复用免掉重复 Prefill,端到端总吞吐最大提升 21.13×,TTFT 最大降低 95.97%,真实 L3 命中率 98.0%–99.5%——长上下文首 Token 从「分钟级」压到「秒级」。



电话咨询
产品服务
解决方案