Bonne réponse
- BSageMaker real-time endpoint sur ml.g4dn.xlarge
Explication
Les endpoints en temps réel de SageMaker fournissent des instances dédiées et persistantes capables de gérer une inférence synchrone avec une latence inférieure à 100ms. L'instance ml.g4dn.xlarge comprend un seul GPU NVIDIA T4, ce qui est suffisant pour la taille du modèle et offre le coût le plus bas parmi les instances GPU qui satisfont à l'exigence de latence. Cette option équilibre les performances et le coût pour l'inférence en temps réel à faible latence.
Pour aller plus loin
Un endpoint en temps réel de SageMaker maintient le modèle chargé sur l'instance et répond aux appels HTTPS InvokeEndpoint de manière synchrone, de sorte que le temps de réponse est dominé par l'inférence plutôt que par les démarrages à froid. Une instance ml.g4dn.xlarge fournit un GPU NVIDIA T4 avec 16 Go de mémoire, suffisant pour un modèle PyTorch à GPU unique, et est facturée par instance-heure, ce qui est moins cher que les instances multi-GPU ou plus grandes pour cette charge de travail. Batch Transform est asynchrone et ne convient pas pour des appels interactifs inférieurs à 100ms, Async Inference met les requêtes en file d'attente et peut ajouter des secondes, et Serverless Inference présente une latence de démarrage à froid et des limites de mémoire qui peuvent ne pas convenir à un modèle GPU. Cela compte pour une API de notation des fraudes où chaque milliseconde de latence maximale affecte l'expérience utilisateur.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement MLA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.