FacileChoix unique

Question d'entraînement MLA-C01

Une équipe de science des données doit déployer un modèle PyTorch entraîné pour une inférence en temps réel avec une latence inférieure à 100ms. Le modèle tient sur un seul GPU. Quelle option d'inférence SageMaker est la PLUS rentable tout en respectant l'exigence de latence ?

Choisissez la meilleure réponse.

Bonne réponse

  • BSageMaker real-time endpoint sur ml.g4dn.xlarge

Explication

Les endpoints en temps réel de SageMaker fournissent des instances dédiées et persistantes capables de gérer une inférence synchrone avec une latence inférieure à 100ms. L'instance ml.g4dn.xlarge comprend un seul GPU NVIDIA T4, ce qui est suffisant pour la taille du modèle et offre le coût le plus bas parmi les instances GPU qui satisfont à l'exigence de latence. Cette option équilibre les performances et le coût pour l'inférence en temps réel à faible latence.

Pourquoi chaque option est juste ou fausse

A

Fausse

SageMaker Batch Transform

SageMaker Batch Transform traite un jeu de données entier en tant que tâche hors ligne et renvoie les résultats vers le stockage ; il n'offre aucun endpoint persistant, il ne peut donc pas servir du tout de requêtes individuelles en temps réel. C'est tentant car c'est le mode d'inférence le moins cher, et ce serait correct pour le scoring en lots où les réponses ne sont pas nécessaires immédiatement.

B

Juste

SageMaker real-time endpoint sur ml.g4dn.xlarge

Un endpoint en temps réel SageMaker sur ml.g4dn.xlarge fournit un hôte d'inférence persistant pris en charge par GPU avec un faible surdébit de l'ordre d'une seule milliseconde, répondant à une latence inférieure à 100ms. Puisque le modèle tient sur un GPU, cette option à instance unique est plus rentable que les alternatives multi-GPU ou serverless.

C

Fausse

SageMaker Async Inference

Async Inference met les requêtes en file d'attente et renvoie les résultats via Amazon S3, il ne peut donc pas fournir de réponses synchrones inférieures à 100ms. Il convient aux tâches de longue durée ou à large charge utile avec une latence détendue. Les endpoints en temps réel, ou Serverless Inference pour un trafic intermittent, satisfont à l'exigence de latence ici.

D

Fausse

SageMaker Serverless Inference

SageMaker Serverless Inference se réduit à zéro entre les requêtes, de sorte que l'initialisation à froid d'un modèle PyTorch sur GPU dépasse régulièrement le budget de latence de moins de 100ms. C'est tentant car il facture uniquement par invocation, et il serait correct pour des charges de travail intermittentes tolérantes à la latence plutôt que pour un trafic régulier en temps réel.

Pour aller plus loin

Un endpoint en temps réel de SageMaker maintient le modèle chargé sur l'instance et répond aux appels HTTPS InvokeEndpoint de manière synchrone, de sorte que le temps de réponse est dominé par l'inférence plutôt que par les démarrages à froid. Une instance ml.g4dn.xlarge fournit un GPU NVIDIA T4 avec 16 Go de mémoire, suffisant pour un modèle PyTorch à GPU unique, et est facturée par instance-heure, ce qui est moins cher que les instances multi-GPU ou plus grandes pour cette charge de travail. Batch Transform est asynchrone et ne convient pas pour des appels interactifs inférieurs à 100ms, Async Inference met les requêtes en file d'attente et peut ajouter des secondes, et Serverless Inference présente une latence de démarrage à froid et des limites de mémoire qui peuvent ne pas convenir à un modèle GPU. Cela compte pour une API de notation des fraudes où chaque milliseconde de latence maximale affecte l'expérience utilisateur.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.