在 2 台 H200 服务器(各 8 卡)上,用 vLLM + DeepSeek-V4-Pro 实测 FFS AI KV Cache 存储的 PD 分离部署:P 端按 GPU HBM → CPU DRAM → FFS L3 三级缓存,D 端仅用 CPU L2,构造 0% 冷 / 100% 热命中两组对照。
实测结果
21.13×
Token 吞吐量提升
95.97%
TTFT P50、P90、P95、P99 降幅均衡
99.5%
真实 L3 命中率
注:128K 输入 · 并发 32 工况
结论
不新增一块 GPU,P 端 FFS L3 复用免掉重复 Prefill,端到端总吞吐最大提升 21.13×,TTFT 最大降低 95.97%,真实 L3 命中率 98.0%–99.5%——长上下文首 Token 从「分钟级」压到「秒级」。