之江实验室&云尖信息联合实验室携手昆仑芯、瑞网广通完成 KV Cache性能第三方评测：FFS AI KV Cache 存储实现推理吞吐效率提升119倍
2026-10-14 18:10:57
admin
12
随着大模型在企业级场景中的落地，竞争焦点正在从"模型有多大"转向"推理系统能支撑多少业务"。企业级 Agent、长文档审阅、整库代码问答、全病历检索等场景，正在把上下文窗口从 4K 推向 256K 甚至更长，这在提升模型复杂任务处理能力的同时，也带来了KV Cache 的指数级增长。GPU 显存已经远远无法承载海量 KV Cache 的存储需求，如何在保证推理质量的前提下，打破显存瓶颈、降低推理成本、提升系统吞吐量，已经成为所有 AI 基础设施团队必须面对的核心命题。
本次测试旨在评估在 SGLang 推理引擎下，FFS 对不同输入长度、不同输出长度、不同并发工况下推理性能的提升效果。为真实检验FFS AI KV Cache 存储系统在大规模推理场景下的实际表现，本次测试委托浙江科正电子信息产品检验有限公司（国家电子计算机外部设备质量检验检测中心），对 FFS AI KV Cache 存储系统（FFS-TS501DF1 v1.2.0）进行了性能效率专项委托检验。测试在杭州之江实验室真实算力集群中完成，结果验证了 FFS 对推理性能的显著提升。
本次测试关键结论：
TTFT（首Token延迟）数量级下降：32K 长输入下 TTFT 从 25.2 秒压到 3.4 秒，最高降幅 86.3%；256K 超长输入下 TTFT 从 274.8 秒压到 41.8 秒，降幅 84.7%。
Token 吞吐量数量级提升：并发 64、请求 192 工况下，128K 输入吞吐从 2,703 tok/s 升至 32.6 万 tok/s，最高提升 119.6 倍。
不新增 GPU 预算即可释放现有算力：在 32 张昆仑芯 P800 不变的前提下，长 Prompt 场景下集群接单能力提升 1~2 个数量级。
测试环境
本次测试主要围绕长 Prefill 密集型推理场景，基于 SGLang v0.5.10 推理引擎与 GLM 5.2 模型，对比"无 FFS KV 缓存（0% 命中率）"与"接入 FFS 并开启高命中（100% 命中率）"两种状态下的系统性能表现。
推理引擎：SGLang v0.5.10，模型 GLM 5.2，Docker 29.1.3，Ubuntu 24.04
算力侧：4 台 GPU 算力服务器（每台 8×昆仑芯 P800 GPU，96GB 显存），共 32 张 GPU
存储侧：8 台 FFS 全闪服务器（每台12×7.68TB NVMe SSD）
网络： GPU 算力服务器之间 8×200G 互联， GPU 算力服务器与 FFS 存储之间 2×100G 互联，运维走独立 25G 管理网
图 1 ｜ 测试环境网络拓扑图（4×GPU 服务器 + 8×FFS 全闪存储服务器）
测试方法：在 SGLang 推理引擎下，构造 0% / 50% / 75% / 100% 四档 KV Cache 命中率，分别测量 TTFT 与Token 吞吐量，每个工况重复 3 次取平均。下文所有图表数据均来自该第三方检验报告。
测试结果
1、推理性能飞跃式提升
经过多轮严格测试，对比接入 FFS 前后的系统，在不同输入长度、不同并发、不同输出长度下，FFS 均实现了 TTFT、Token 吞吐量等全维度核心指标的数量级优化：
86.3%TTFT 最高降幅
（32K 输入，0%→100% 命中率）
（32K 输入，0%→100% 命中率）
119.6×吞吐量最高提升
（128K 输入，并发 64）
（128K 输入，并发 64）
32.6万峰值 Token 吞吐
（tok/s，128K 输入）
（tok/s，128K 输入）
实测一：TTFT-长上下文从"分钟级"压到"秒级"
TTFT（Time To First Token）是用户感知最强的指标——它决定了模型"开口"的速度，本次测试输入长度从 1K 一路拉到 256K。
不同输入长度 TTFT 测试数据：
SGLang / GLM 5.2 / 长上下文场景 0% vs 100% 命中率 TTFT 对比
0% 命中率（无 FFS）100% 命中率（接入 FFS）
32K
64K
128K
256K
柱顶数值：TTFT ms（毫秒）
图 2 ｜ 不同 KV Cache 命中率下 TTFT 随输入长度变化对比（单位：毫秒）
上图展示了输入长度从 32K 扩展到 256K 条件下，不同 KV 命中率对应的 TTFT 测试数据。
关键发现
256K 超长文本场景：TTFT 从 274.8 秒骤降至 41.8 秒，延迟降低 84.7%，原本需要 4 分半的等待时间缩短至不到 42 秒
32K 常用场景：TTFT 从 25.2 秒降至 3.4 秒，延迟降低 86.3%，用户感知速度显著提升
全档位无短板：从 1K 到 256K 全输入长度，TTFT 均实现显著降低，覆盖各类应用场景
越用越快：输入长度越长，优化效果越显著，完美命中长文本推理的核心痛点