AWS Machine Learning Blog· Shantanu Tripathi·· 2 天前精选AI 评分65
SageMaker Inference 新增 Multi-Instance GPU 分区以提升模型端点的 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现已支持 GPU 分区，基于 NVIDIA Multi-Instance GPU（MIG）把一块物理 GPU 硬件隔离地划分为最多 7 个分区，使端点可承载的模型数量不再受 GPU 颗数限制。
推荐理由
原文给出各 GPU 型号的分区档位和 H100 分区对整卡 A100 的实测对比，读者可据此为模型选择合适的 GPU 部署单元。
来源：AWS Machine Learning Blog · aws.amazon.com