Bonne réponse
- DAjouter une stratégie de mise à l'échelle basée sur le nombre de requêtes concourantes par instance
Explication
L'utilisation de la mise à l'échelle basée uniquement sur l'utilisation du CPU est souvent insuffisante pour les charges de travail d'inférence où la latence est la principale préoccupation. En ajoutant une stratégie de mise à l'échelle basée sur le nombre de requêtes concourantes par instance, l'équipe peut effectuer un scale-out de manière proactive avant que la saturation du CPU ne se produise, réduisant ainsi la latence et éliminant les erreurs 503. L'automatic scaling de SageMaker prend en charge plusieurs métriques de suivi de cible, et l'utilisation de requêtes concourantes par instance s'aligne plus étroitement sur la demande réelle sur le conteneur de service du modèle.
Pour aller plus loin
L'automatic scaling de SageMaker évalue les métriques CloudWatch par rapport à une cible ; l'utilisation du CPU est en retard par rapport à la demande réelle car une requête doit déjà être en file d'attente et en cours d'exécution avant que le CPU n'augmente, de sorte que lors de pics violents, l'endpoint se met à l'échelle trop tard et renvoie des erreurs 503. Une politique sur ConcurrentRequestsPerInstance (ou InvocationsPerInstance) réagit directement à la profondeur de la file d'attente, déclenchant le scale-out avant que le CPU ne sature. C'est moins cher que de passer à ml.c5.xlarge, ce qui augmente le coût par heure pour tout le trafic, et moins cher que de pré-chauffer des instances supplémentaires fixes qui restent inactives. Une subtilité : le délai de refroidissement du scale-out et la valeur cible doivent être ajustés ; une cible trop basse provoque des instabilités. Dans un déploiement réel, un pic de trafic de vente flash est exactement le cas où la mise à l'échelle basée sur les requêtes maintient la latence dans le SLA tout en minimisant le coût en régime permanent.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.