Bonnes réponses
- BOptimiser l'architecture du modèle pour réduire la taille
- CUtiliser un conteneur de prédiction personnalisé avec des dépendances optimisées
Explication
Optimiser l'architecture du modèle pour réduire sa taille diminue directement la charge de calcul lors de l'inférence, ce qui réduit la latence de prédiction. Les modèles plus petits nécessitent moins d'opérations en virgule flottante (FLOPs) par prédiction, permettant des temps de réponse plus rapides sur les endpoints Vertex AI.
Pour aller plus loin
La latence d'un endpoint Vertex AI est dominée par les calculs du modèle, le démarrage du conteneur et la surcharge de gestion des requêtes. Réduire la taille du modèle par l'optimisation de l'architecture, la quantification ou l'élagage diminue le travail arithmétique par inférence. Un conteneur de prédiction personnalisé avec des dépendances épurées raccourcit le temps de téléchargement et d'importation de l'image et évite le chargement de bibliothèques inutilisées. Une subtilité réside dans le fait que définir les réplicas minimaux à zéro introduit des démarrages à froid ; cela permet donc de faire des économies mais augmente la latence de queue, et l'ajout de vCPUs n'aide que si le modèle est limité par le CPU et parallélisable. Dans un service de notation en temps réel avec des objectifs de p99 stricts, l'optimisation du modèle et du conteneur produit généralement des gains plus prévisibles que le simple dimensionnement du matériel, car le goulot d'étranglement est souvent un prétraitement sérialisé ou des poids surdimensionnés.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.