蒸馏与量化让更多业务能用更小模型完成推理，单请求的 GPU 占用下降。但这并不自动等于机房可以缩容：产品线往往同时跑多个版本，再加上流量高峰，总卡数需求可能不降反升。容量规划若仍按「一个大模型、一套副本」估算，会偏离现状。
更合理的做法是按服务目录建模：每个模型的批大小、目标 QPS、冷热版本数，再汇总到机柜电力与网络出口。蒸馏带来的节省，应显式用于提高余量或降低时延，而不是默认砍掉全部冗余。
定期用生产监控回校容量模型，比一年估一次更靠谱。南方数据协助客户把算力需求翻译成机房可执行的电力与网络规格。需要重估容量时，欢迎联系。