18万Token/s，Token吞吐效率提升68倍！！！
近日，瑞网广通AI KV Cache 存储完成与某国产算力卡的KV Cache卸载场景实测。
测试环境如下：
4 × 8 卡
某国产算力卡
32
并发请求
32K
输入token 长度
98%
前缀缓存命中率
关键测试结果：
瑞网广通AI KV Cache 存储 ，让每一张国产卡，都算得更有价值！
联系我们
