MoyenneChoix multiples

Question d'entraînement PMLE

Une équipe souhaite servir un grand modèle PyTorch (3 GB) pour des prédictions en ligne avec une faible latence. Quelles sont les TROIS actions à entreprendre ?

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • AUtiliser un conteneur personnalisé qui précharge le modèle en mémoire.
  • CUtiliser un type de machine avec un accélérateur GPU.
  • DOptimiser le modèle en utilisant TorchScript ou la quantification.

Explication

Un conteneur personnalisé qui précharge le modèle PyTorch de 3 GB en mémoire élimine la surcharge de chargement du modèle par requête, ce qui est essentiel pour les prédictions en ligne à faible latence. L'attachement d'un accélérateur GPU fournit le débit de calcul parallèle nécessaire à l'inférence PyTorch, réduisant considérablement la latence pour un grand modèle par rapport à un service utilisant uniquement un CPU. TorchScript (traçage/scripting pour une exécution optimisée) et la quantification (par exemple, FP16/INT8) réduisent la taille du modèle et le coût d'inférence, abaissant directement la latence tout en préservant le service en ligne. La prédiction par lots est asynchrone et à haut débit, et non un service en ligne à faible latence, elle contredit donc l'exigence énoncée. Le déploiement multi-région avec Cloud Load Balancing améliore la disponibilité globale et la proximité, mais ne résout pas la taille du modèle ou la latence par inférence pour les prédictions en ligne.

Pourquoi chaque option est juste ou fausse

A

Juste

Utiliser un conteneur personnalisé qui précharge le modèle en mémoire.

Le préchargement du modèle de 3 GB en mémoire à l'intérieur d'un conteneur personnalisé élimine le chargement du modèle par requête, qui domine autrement la latence pour un modèle de cette taille. Cela répond directement à la contrainte de faible latence en supprimant les surcharges de démarrage à froid et de lecture sur disque du chemin de prédiction.

B

Fausse

Utiliser la prédiction par lots au lieu de la prédiction en ligne.

La prédiction par lots traite les données stockées en bloc et renvoie les résultats de manière asynchrone, de sorte qu'elle ne peut pas fournir de réponses à faible latence aux requêtes en ligne individuelles. C'est tentant car le traitement par lots améliore le débit et le coût pour de grands volumes ; ce serait correct pour les tâches de notation hors ligne, pas pour le service en temps réel.

C

Juste

Utiliser un type de machine avec un accélérateur GPU.

Un accélérateur GPU fournit le débit de calcul parallèle dont l'inférence PyTorch a besoin, réduisant considérablement le temps de traitement par requête par rapport au service utilisant uniquement un CPU. Cela satisfait l'exigence de faible latence pour un modèle de 3 GB dont les passes avant seraient par ailleurs trop lentes.

D

Juste

Optimiser le modèle en utilisant TorchScript ou la quantification.

La compilation et la quantification TorchScript réduisent la taille du modèle et le coût d'inférence, abaissant à la fois l'empreinte mémoire et la latence par requête. Appliquées à un modèle PyTorch de 3 GB, ces optimisations servent directement la contrainte de prédiction en ligne à faible latence plutôt que de simplement simplifier le déploiement.

E

Fausse

Déployer dans plusieurs régions avec Cloud Load Balancing.

Le déploiement multi-région avec Cloud Load Balancing réduit la latence géographique mais ne répond pas au service d'un modèle PyTorch de 3 GB avec une faible latence ; le modèle a toujours besoin d'une infrastructure de service optimisée. C'est tentant car la distribution régionale améliore la disponibilité et la proximité ; ce serait correct pour les bases d'utilisateurs mondiales, pas pour les contraintes de taille de modèle.

Pour aller plus loin

Vertex AI online prediction prend en charge les conteneurs personnalisés où vous contrôlez le serveur de modèle (par exemple, TorchServe, FastAPI). Le préchargement du modèle au démarrage du conteneur sort la charge de 3 GB du chemin de la requête, mais augmente le temps de démarrage à froid, atténué par le nombre minimum de réplicas et les vérifications de santé. Les accélérateurs GPU (NVIDIA T4, L4, A100) accélèrent les opérations matricielles, mais le modèle doit tenir dans la mémoire du GPU ; la quantification (INT8/FP16) et le traçage TorchScript réduisent l'empreinte mémoire et améliorent le débit. Un comportement subtil : TorchScript peut casser le flux de contrôle dynamique, de sorte que les modèles avec des branches dépendantes des données peuvent nécessiter des scripts plutôt que des traçages. Scénario réel : un service de recommandation servant un transformateur de 3 GB utilise un conteneur personnalisé avec des poids préchargés, un GPU L4 et une quantification INT8 pour atteindre une latence p95 inférieure à 100 ms.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.