DifficileChoix unique

Question d'entraînement MLA-C01

Une équipe déploie un modèle TensorFlow sur un endpoint real-time SageMaker avec automatic scaling. Elle configure la stratégie de mise à l'échelle pour cibler une utilisation moyenne du CPU de 50 %. Cependant, lors des pics de trafic, l'endpoint subit une latence élevée et des erreurs 503. Le type d'instance est ml.c5.large. Que doit faire l'équipe pour résoudre ce problème tout en minimisant les coûts ?

Choisissez la meilleure réponse.

Bonne réponse

  • DAjouter une stratégie de mise à l'échelle basée sur le nombre de requêtes concourantes par instance

Explication

L'utilisation de la mise à l'échelle basée uniquement sur l'utilisation du CPU est souvent insuffisante pour les charges de travail d'inférence où la latence est la principale préoccupation. En ajoutant une stratégie de mise à l'échelle basée sur le nombre de requêtes concourantes par instance, l'équipe peut effectuer un scale-out de manière proactive avant que la saturation du CPU ne se produise, réduisant ainsi la latence et éliminant les erreurs 503. L'automatic scaling de SageMaker prend en charge plusieurs métriques de suivi de cible, et l'utilisation de requêtes concourantes par instance s'aligne plus étroitement sur la demande réelle sur le conteneur de service du modèle.

Pourquoi chaque option est juste ou fausse

A

Fausse

Pré-chauffer l'endpoint en gardant un nombre fixe d'instances supplémentaires

Le pré-chauffage maintient des instances inactives en permanence, ce qui augmente les coûts sans résoudre la réaction lente de la politique de mise à l'échelle face aux pics. C'est tentant car le pré-chauffage est le bon choix pour les endpoints sensibles à la latence avec un trafic de base régulier et prévisible où les démarrages à froid sont inacceptables.

B

Fausse

Augmenter la période de refroidissement du scale-in pour éviter les réductions fréquentes

L'extension du refroidissement du scale-in ne fait que retarder la suppression des instances ; cela ne contribue en rien à ajouter de la capacité plus rapidement lors d'un pic, de sorte que la latence et les erreurs 503 persistent. C'est tentant car l'ajustement du refroidissement est la correction adéquate lorsque la mise à l'échelle oscille, ajoutant et supprimant des instances de manière répétée.

C

Fausse

Changer le type d'instance pour un plus grand comme ml.c5.xlarge pour gérer les pics

Une instance plus grande augmente la capacité par instance, mais la politique de suivi de cible s'adapte toujours sur le CPU, et les grandes instances inactives coûtent plus cher, ce qui contredit l'exigence de coût. C'est tentant car la mise à l'échelle verticale est la correction adéquate lorsqu'une seule instance est véritablement limitée par le CPU et ne peut pas être répartie entre des réplicas.

D

Juste

Ajouter une stratégie de mise à l'échelle basée sur le nombre de requêtes concourantes par instance

La mise à l'échelle par requêtes concourantes suit la demande réelle plutôt que le CPU, qui est en retard par rapport aux rafales de requêtes sur ml.c5.large. Elle ajoute de la capacité avant que la latence et les erreurs 503 ne se produisent, satisfaisant la contrainte de réactivité tout en évitant le coût d'instances définitivement plus grandes.

Pour aller plus loin

L'automatic scaling de SageMaker évalue les métriques CloudWatch par rapport à une cible ; l'utilisation du CPU est en retard par rapport à la demande réelle car une requête doit déjà être en file d'attente et en cours d'exécution avant que le CPU n'augmente, de sorte que lors de pics violents, l'endpoint se met à l'échelle trop tard et renvoie des erreurs 503. Une politique sur ConcurrentRequestsPerInstance (ou InvocationsPerInstance) réagit directement à la profondeur de la file d'attente, déclenchant le scale-out avant que le CPU ne sature. C'est moins cher que de passer à ml.c5.xlarge, ce qui augmente le coût par heure pour tout le trafic, et moins cher que de pré-chauffer des instances supplémentaires fixes qui restent inactives. Une subtilité : le délai de refroidissement du scale-out et la valeur cible doivent être ajustés ; une cible trop basse provoque des instabilités. Dans un déploiement réel, un pic de trafic de vente flash est exactement le cas où la mise à l'échelle basée sur les requêtes maintient la latence dans le SLA tout en minimisant le coût en régime permanent.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.