跳到主要内容

南方数据SOUTH IDC

大模型权重动辄数十到数百 GB,训练恢复、推理扩容和灰度发布都会触发集中拉取。若对象存储远在另一个区域,启动时间会被网络拖长,还可能打满昂贵的跨境带宽。把高频访问的权重与检查点放在与 GPU 集群同城、甚至同机房的高吞吐存储上,是最直接的优化之一。

架构上可区分「冷归档」与「热权重」:归档可放低成本远端,热数据用本地或同 DC 的 S3 兼容存储,并配合 CDN/缓存节点减轻源站压力。权限与审计不能省——权重往往是核心资产,需最小权限、加密传输与访问日志。版本命名与校验和策略也要统一,防止节点拉到错误版本。

压测时建议模拟同时扩容 N 个推理副本的拉取风暴,观察存储侧 IOPS 与出口是否成为瓶颈。南方数据可为 AI 客户在香港机房侧对接算力与存储邻近部署。需要评估权重分发路径时,欢迎联系咨询。