70B 模型推理，要几张卡才够

显存是硬门槛

70B 模型 FP16 权重约需 140GB 显存，加上 KV Cache 和激活，单张 80GB 的 H100 无法独立承载，通常需多卡张量并行或量化。

卡数估算

以 2 张 80GB H100 张量并行，可跑 FP16 70B 权重并留出部分 KV Cache；配合 INT8/AWQ 量化，单机 2-4 卡可服务中等并发在线推理。

吞吐优先看并发与上下文

实际能支撑多少并发，取决于 KV Cache 占用与推理引擎（vLLM/TensorRT-LLM）的优化程度。建议用真实业务做压测，而非只看卡数。