Bonne réponse
- ASageMaker Endpoint Auto Scaling
Explication
SageMaker Endpoint Auto Scaling ajuste automatiquement le nombre d'instances desservant un point de terminaison d'inférence en temps réel en fonction de la charge du trafic entrant. Il utilise des stratégies Application Auto Scaling, qui surveillent les métriques CloudWatch (par exemple, InvocationsPerInstance) pour effectuer un scale-in ou un scale-out, garantissant ainsi une faible latence et une efficacité des coûts sans intervention manuelle.
Pour aller plus loin
SageMaker Endpoint Auto Scaling utilise Application Auto Scaling pour ajuster le nombre d'instances derrière un point de terminaison en temps réel en fonction des métriques CloudWatch. Vous enregistrez le point de terminaison en tant que cible scalable, puis vous associez une stratégie de mise à l'échelle, le plus souvent TargetTrackingScaling sur la métrique SageMakerVariantInvocationsPerInstance avec une valeur cible, ainsi que des périodes de refroidissement optionnelles. Une subtilité à connaître : le scale-in est délibérément conservateur car la suppression de capacité alors que des requêtes sont en cours peut provoquer des erreurs 5xx, il utilise donc des périodes de refroidissement plus longues que le scale-out. De plus, chaque variante de production s'adapte indépendamment et vous devez définir MinCapacity et MaxCapacity pour limiter les coûts. Cela est important pour un modèle gérant un trafic irrégulier, où un nombre fixe d'instances gaspille de l'argent au repos ou rejette des requêtes lors d'un pic.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.