KV Cache 直接决定推理并发与上下文长度,是算力规划里最容易被忽略的变量。
以 70B 参数模型为例,估算显存需求、卡数与并发吞吐,给出实用选型思路。
训练与推理负载特征不同,GPU 功耗表现差异大,理解这一点才能选对算力。
从单卡功耗到整机柜功率、UPS 与空调余量,一套可复用的算力机柜配电测算方法。
H100 的 223W 不是官方 TDP,而是典型 LLM 推理负载下的稳态实测功耗,本文解释其含义与用途。