使用 Amazon SageMaker HyperPod 与 Qumulo 实现多区域训练

AWS 推出结合 Amazon SageMaker HyperPod 与 Qumulo 的多区域训练方案，使计算与数据集分置不同 AWS 区域时无需复制全量数据。在 1.02B 参数 LLaMA v3 及 16 块 H100 GPU 实测中，跨区域集群经 NeuralCache 预热后吞吐量达到与本地集群相同的 115–117 samples/sec，GPU 利用率收敛至 98–100%。