推理 vs 训练：为什么功耗差这么多

训练负载特征

训练是密集型矩阵运算，GPU 长期满负荷运转，功耗接近峰值 TDP，且持续数周甚至数月。

推理负载特征

推理受并发请求驱动，存在明显空闲与突发，GPU 利用率波动大，稳态平均功耗明显低于训练，这正是推理场景测出较低功耗（如 H100 223W 量级）的原因。

选型启示

若业务以在线推理为主，按稳态功耗与吞吐选型更合理；若涉及大规模训练或微调，必须按峰值 TDP 与持续负载规划配电。