训练更看重吞吐与集群规模，推理则更敏感于时延与可用性。面向亚太用户的 AI 应用，常需要在「靠近用户的边缘节点」与「容量充足的核心机房」之间做权衡：边缘利于首包时延和区域合规部署，核心利于资源池化、模型版本统一与成本摊薄。两者并非互斥，多数生产环境会采用分层架构，按请求类型分流到合适的节点。
选型时可从三方面切入：目标用户地理分布与可接受时延；模型大小与单次推理资源开销；回源、缓存与多活切换策略。许多团队采用混合架构——核心训练与重型推理，边缘承载高频轻量请求，再用专线或优质 IP Transit 把两边连成可控拓扑。还要评估模型更新频率：版本频繁切换时，边缘节点的镜像分发与回滚能力同样关键，否则容易出现版本不一致。
监控侧建议统一采集时延、错误率与 GPU 利用率，以便判断扩容应发生在边缘还是核心。选型结论应写成可执行的部署地图：哪些模型放核心、哪些请求走边缘、失败时如何回退，便于研发、运维与商务按同一版本推进。若您计划在香港布局推理节点或打通边缘与核心机房，南方数据可提供机房与互联建议，欢迎联系咨询具体场景。