MoyenneChoix unique

Question d'entraînement PMLE

Une entreprise déploie un modèle TensorFlow personnalisé sur Vertex AI Endpoint pour des prédictions en ligne. Après le déploiement, la latence de prédiction est constamment élevée (plus de 500 ms) même sous faible trafic. Le modèle n'utilise que le processeur (CPU-only) et le type de machine par défaut (n1-standard-2) est utilisé. Quelle action réduira le plus probablement la latence de prédiction ?

Choisissez la meilleure réponse.

Bonne réponse

  • BChanger le type de machine pour n1-highcpu-16 avec un accélérateur GPU.

Explication

Changer le type de machine pour n1-highcpu-16 avec un accélérateur GPU fournit des ressources de calcul significativement plus importantes pour le modèle TensorFlow personnalisé. Le type n1-highcpu-16 offre 16 vCPU (contre 2 pour n1-standard-2), ce qui réduit le temps d'inférence lié au processeur, et l'ajout d'un GPU accélère les opérations matricielles courantes dans les modèles TensorFlow, réduisant directement la latence par requête. L'option A est fausse car l'augmentation de max_replica_count permet davantage de requêtes parallèles mais n'améliore pas le temps de traitement d'une seule requête. L'option C est fausse car la définition de min_replica_count garantit une capacité toujours active pour éviter les démarrages à froid, mais ne réduit pas la latence en régime permanent. L'option D est fausse car l'augmentation de la taille des lots dans la requête de prédiction augmente le débit en traitant plusieurs entrées ensemble, mais ne réduit pas la latence pour une seule prédiction — cela peut en fait augmenter le temps de retour d'un résultat pour une requête donnée.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter max_replica_count à 10 pour autoriser un plus grand nombre de requêtes parallèles.

Plus de réplicas améliorent le débit mais pas la latence par requête.

B

Juste

Changer le type de machine pour n1-highcpu-16 avec un accélérateur GPU.

L'ajout d'un accélérateur GPU décharge les opérations matricielles de TensorFlow du processeur, répondant directement à la contrainte d'utilisation exclusive du processeur qui provoque la latence de 500 ms. La configuration n1-highcpu-16 fournit proportionnellement plus de vCPU et de mémoire pour le prétraitement et le regroupement par lots, de sorte que l'inférence se termine plus rapidement même sous faible trafic.

C

Fausse

Définir min_replica_count à 3 pour garantir une capacité toujours active.

Un nombre minimal de réplicas réduit le démarrage à froid mais pas la latence en régime permanent.

D

Fausse

Augmenter la taille des lots dans la requête de prédiction.

Des lots plus grands augmentent la latence par requête.

Pour aller plus loin

La latence des prédictions en ligne sur Vertex AI dépend fortement du type de machine, de la disponibilité du processeur/GPU et de l'efficacité du graphe du modèle. Le type n1-standard-2 ne propose que 2 vCPU et 7,5 Go de RAM, ce qui est souvent insuffisant pour l'inférence TensorFlow qui implique de grandes opérations matricielles. Passer à n1-highcpu-16 fournit 16 vCPU avec un ratio processeur/mémoire plus élevé, et l'attachement d'un accélérateur GPU délègue les calculs de tenseurs, réduisant considérablement la latence par requête. Un comportement subtil est que l'accélération GPU n'aide que si le modèle et la version de TensorFlow prennent en charge CUDA ; sinon, le GPU reste inactif. En pratique, un modèle fonctionnant sur processeur qui génère des prédictions de 500 ms sous faible trafic est un signe classique de ressources de calcul sous-dimensionnées, et le dimensionnement des réplicas ou le traitement par lots ne réduit pas la latence d'une requête unique.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.