KV Cache 是什么，为何影响算力规划

KV Cache 的作用

Transformer 生成每个 token 时要复用前文的 Key/Value，这些缓存就是 KV Cache。它随并发请求数与上下文长度线性增长，占显存大头。

为什么影响选型

同样一张卡，KV Cache 分配越多，能服务的并发越低、上下文越短。70B 模型长上下文 + 高并发时，KV Cache 可能比权重还吃显存。

规划建议

选型时必须把"并发 × 上下文长度 × KV Cache 单 token 大小"纳入显存计算，否则容易出现卡数够、但并发上不去的状况。