瑞网广通8台FFS全闪存储助力4台算力服务器Token吞吐提升到330K TPS

2026-10-26 11:54:20 admin 0

瑞网广通是业界一流的AI KV Cache存储企业,自主研发的FFS AI KV Cache全闪存储产品在性能实测中取得了优秀成果,8台FFS AI KV Cache全闪存储助力4台某国产算力服务器Token吞吐提升到330K TPS,长上下文推理 TTFT 最高降低 86.46%,不增 GPU 预算即让算力集群TPS跃升 1~2 个数量级。

图片关键词

8台存储为4台算力服务器撑起330K TPS,重塑AI Infra的投入产出比

业务结论:命中率越高、收益越大,相同输入长度下,Token吞吐随命中率提升呈指数级增长,不追加 GPU 预算,仅加一层FFS AI KV Cache 全闪存储,长 Prompt 场景的Token吞吐能力即提升1~2 个数量级——算力集群服务能力等效放大两个数量级,算力成本最大节省90%+。


电话咨询
产品服务
解决方案