MoyenneChoix unique

Question d'entraînement PDE

Vous avez déployé un modèle sur Vertex AI Endpoints à l'aide d'un conteneur personnalisé. Le modèle fournit des prédictions, mais la latence est supérieure à ce qui était attendu. Vous suspectez que le conteneur n'utilise pas pleinement les ressources du processeur. Que devez-vous faire pour réduire la latence ?

Choisissez la meilleure réponse.

Bonne réponse

  • AModifier le conteneur pour utiliser le multithreading ou augmenter le nombre de workers dans le serveur de prédiction (par exemple, les workers Gunicorn).

Explication

Une latence élevée dans un conteneur personnalisé basé sur le processeur (CPU) provient souvent d'une sous-utilisation des cœurs de CPU disponibles. En augmentant le nombre de processus de travail (workers, par exemple les workers Gunicorn) ou en activant le multithreading, vous permettez au serveur de prédiction de traiter plusieurs requêtes simultanément, réduisant ainsi le temps d'attente dans la file d'attente et améliorant le débit. Cela répond directement au symptôme selon lequel le conteneur n'exploite pas pleinement les ressources CPU.

Pourquoi chaque option est juste ou fausse

A

Juste

Modifier le conteneur pour utiliser le multithreading ou augmenter le nombre de workers dans le serveur de prédiction (par exemple, les workers Gunicorn).

Un serveur de prédiction monothread sérialise les requêtes, laissant les cœurs de CPU inactifs et augmentant la latence. L'activation du multithreading ou l'augmentation du nombre de workers Gunicorn permet au conteneur de traiter les inférences concurrentes en parallèle, répondant directement au CPU sous-utilisé identifié dans l'énoncé.

B

Fausse

Activer la mise en cache des réponses sur l'endpoint.

La mise en cache des réponses renvoie uniquement des réponses précédemment calculées pour des requêtes identiques répétées ; elle ne peut pas augmenter l'utilisation du CPU pour de nouvelles entrées, de sorte que la latence des premières prédictions reste inchangée. C'est tentant car la mise en cache réduit véritablement la latence pour les charges de travail d'inférence à forte répétition et à lecture intensive, mais ce scénario nécessite plutôt le réglage des paramètres de thread ou de worker CPU du conteneur.

C

Fausse

Modifier le type de machine pour une machine accélérée par GPU.

Un GPU accélère le calcul matriciel parallèle, et non le prétraitement ou le chemin d'inférence lié au CPU que le conteneur sous-utilise. Les machines GPU sont le bon choix pour les grands modèles de Deep Learning avec des opérations de tenseur lourdes ; ici, l'utilisation du CPU du conteneur est le goulot d'étranglement déclaré, de sorte que l'ajout de capacité GPU le laisse inactif.

D

Fausse

Augmenter le nombre de nœuds en ajustant les limites d'autoscaling.

L'autoscaling ajoute des réplicas pour servir davantage de requêtes simultanées, mais chaque réplica exécute toujours la même configuration CPU sous-utilisée, de sorte que la latence par requête est inchangée. Le dimensionnement des nœuds convient à l'augmentation du volume de trafic ; l'énoncé identifie une utilisation inefficace du CPU dans le conteneur, ce que plus de nœuds ne résolvent pas.

Pour aller plus loin

Les conteneurs personnalisés Vertex AI reçoivent des requêtes de prédiction via un serveur HTTP que vous fournissez, et un serveur monothread traite une requête à la fois, laissant les vCPU alloués inactifs et augmentant la latence sous concurrence. L'exécution d'un serveur WSGI tel que Gunicorn avec plusieurs processus de travail, ou l'activation du multithreading dans des frameworks comme Flask ou FastAPI, permet au conteneur d'exploiter tous les cœurs attribués. L'autoscaling de plus de nœuds ajoute des réplicas mais n'améliore pas la latence par requête lorsque chaque réplica est limité par le CPU et sous-utilisé. Les GPU ne sont utiles que pour les modèles accélérés par GPU. La mise en cache des réponses modifie la sémantique et ne constitue pas une correction générale de la latence, de sorte que le réglage de la concurrence du serveur est le remède direct.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.