Bonnes réponses
- AUtiliser un conteneur personnalisé qui précharge le modèle en mémoire.
- CUtiliser un type de machine avec un accélérateur GPU.
- DOptimiser le modèle en utilisant TorchScript ou la quantification.
Explication
Un conteneur personnalisé qui précharge le modèle PyTorch de 3 GB en mémoire élimine la surcharge de chargement du modèle par requête, ce qui est essentiel pour les prédictions en ligne à faible latence. L'attachement d'un accélérateur GPU fournit le débit de calcul parallèle nécessaire à l'inférence PyTorch, réduisant considérablement la latence pour un grand modèle par rapport à un service utilisant uniquement un CPU. TorchScript (traçage/scripting pour une exécution optimisée) et la quantification (par exemple, FP16/INT8) réduisent la taille du modèle et le coût d'inférence, abaissant directement la latence tout en préservant le service en ligne. La prédiction par lots est asynchrone et à haut débit, et non un service en ligne à faible latence, elle contredit donc l'exigence énoncée. Le déploiement multi-région avec Cloud Load Balancing améliore la disponibilité globale et la proximité, mais ne résout pas la taille du modèle ou la latence par inférence pour les prédictions en ligne.
Pour aller plus loin
Vertex AI online prediction prend en charge les conteneurs personnalisés où vous contrôlez le serveur de modèle (par exemple, TorchServe, FastAPI). Le préchargement du modèle au démarrage du conteneur sort la charge de 3 GB du chemin de la requête, mais augmente le temps de démarrage à froid, atténué par le nombre minimum de réplicas et les vérifications de santé. Les accélérateurs GPU (NVIDIA T4, L4, A100) accélèrent les opérations matricielles, mais le modèle doit tenir dans la mémoire du GPU ; la quantification (INT8/FP16) et le traçage TorchScript réduisent l'empreinte mémoire et améliorent le débit. Un comportement subtil : TorchScript peut casser le flux de contrôle dynamique, de sorte que les modèles avec des branches dépendantes des données peuvent nécessiter des scripts plutôt que des traçages. Scénario réel : un service de recommandation servant un transformateur de 3 GB utilise un conteneur personnalisé avec des poids préchargés, un GPU L4 et une quantification INT8 pour atteindre une latence p95 inférieure à 100 ms.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.