Bonne réponse
- AModifier le conteneur pour utiliser le multithreading ou augmenter le nombre de workers dans le serveur de prédiction (par exemple, les workers Gunicorn).
Explication
Une latence élevée dans un conteneur personnalisé basé sur le processeur (CPU) provient souvent d'une sous-utilisation des cœurs de CPU disponibles. En augmentant le nombre de processus de travail (workers, par exemple les workers Gunicorn) ou en activant le multithreading, vous permettez au serveur de prédiction de traiter plusieurs requêtes simultanément, réduisant ainsi le temps d'attente dans la file d'attente et améliorant le débit. Cela répond directement au symptôme selon lequel le conteneur n'exploite pas pleinement les ressources CPU.
Pour aller plus loin
Les conteneurs personnalisés Vertex AI reçoivent des requêtes de prédiction via un serveur HTTP que vous fournissez, et un serveur monothread traite une requête à la fois, laissant les vCPU alloués inactifs et augmentant la latence sous concurrence. L'exécution d'un serveur WSGI tel que Gunicorn avec plusieurs processus de travail, ou l'activation du multithreading dans des frameworks comme Flask ou FastAPI, permet au conteneur d'exploiter tous les cœurs attribués. L'autoscaling de plus de nœuds ajoute des réplicas mais n'améliore pas la latence par requête lorsque chaque réplica est limité par le CPU et sous-utilisé. Les GPU ne sont utiles que pour les modèles accélérés par GPU. La mise en cache des réponses modifie la sémantique et ne constitue pas une correction générale de la latence, de sorte que le réglage de la concurrence du serveur est le remède direct.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.