FacileChoix unique

Question d'entraînement PMLE

Une entreprise a déployé un modèle TensorFlow sur Vertex AI Prediction pour l'inférence en temps real. Elle remarque que pendant les heures de pointe, la latence de prédiction augmente considérablement et certaines requêtes expirent (time out). Le modèle nécessite une accélération par GPU. Quelle action doit-elle entreprendre pour réduire la latence et éviter les expirations ?

Choisissez la meilleure réponse.

Bonne réponse

  • AActivez la mise à l'échelle automatique avec les réplicas min définis sur la charge de base et les réplicas max pour gérer la charge de pointe, et assurez-vous que le quota GPU est suffisant.

Explication

L'activation de la mise à l'échelle automatique (autoscaling) avec des réplicas min et max appropriés permet au point de terminaison de monter en charge dynamiquement pendant le trafic de pointe et de réduire la charge pendant le trafic faible, garantissant ainsi des ressources GPU suffisantes pour gérer la charge sans intervention manuelle. Il est également essentiel de garantir un quota GPU adéquat pour éviter l'épuisement des ressources. L'option B est erronée car le passage à un type de machine plus grand avec plus de vCPU ne résout pas la latence d'inférence liée au GPU ; le goulot d'étranglement est l'accélération GPU, pas le CPU. L'option C est erronée car l'augmentation statique des réplicas entraîne un surprovisionnement et du gaspillage pendant les heures creuses, et ne peut pas réagir rapidement aux pics de trafic soudains. L'option D est erronée car Cloud Functions est sans serveur (serverless) et ne prend pas en charge l'accélération GPU ; cela ajoute une latence supplémentaire et ne convient pas à l'inférence GPU en temps réel.

Pourquoi chaque option est juste ou fausse

A

Juste

Activez la mise à l'échelle automatique avec les réplicas min définis sur la charge de base et les réplicas max pour gérer la charge de pointe, et assurez-vous que le quota GPU est suffisant.

L'activation de la mise à l'échelle automatique avec des réplicas min et max appropriés permet au point de terminaison de monter en charge dynamiquement pendant le trafic de pointe et de réduire la charge pendant le trafic faible, garantissant des ressources GPU suffisantes pour gérer la charge sans intervention manuelle. S'assurer d'un quota GPU adéquat est également essentiel pour éviter l'épuisement des ressources.

B

Fausse

Passez à un type de machine plus grand avec plus de vCPU.

L'ajout de vCPU n'accélère pas l'inférence TensorFlow liée au GPU, et l'énoncé indique que le modèle nécessite une accélération GPU, de sorte que la latence persiste. C'est tentant car les types de machines plus grands atténuent souvent les goulots d'étranglement de service limités par le processeur, et ce serait la bonne décision pour une étape de prétraitement ou de regroupement (batching) limitée par le processeur.

C

Fausse

Augmentez statiquement le nombre de réplicas dans le point de terminaison Vertex AI Prediction pour gérer la charge de pointe.

Les augmentations statiques de réplicas ajoutent de la capacité pour les requêtes simultanées, mais chaque réplica fait toujours la queue derrière l'inférence liée au GPU, de sorte que la latence par requête pendant les pics reste inchangée. C'est tentant car la mise à l'échelle horizontale est la réponse standard pour le débit, et ce serait correct si le point de terminaison était limité par le processeur ou simplement saturé par le volume de requêtes.

D

Fausse

Utilisez Cloud Functions pour appeler le modèle de manière asynchrone.

Cloud Functions appelant le modèle de manière asynchrone supprime l'attente de l'appelant mais ne réduit pas la latence d'inférence, et les points de terminaison en temps réel Vertex AI expirent toujours sous la charge. C'est tentant car l'invocation asynchrone convient aux charges de travail par lots ou de type déclencher et oublier (fire-and-forget), où le client n'a pas besoin d'une prédiction immédiate.

Pour aller plus loin

La mise à l'échelle automatique de Vertex AI Prediction ajuste le nombre de réplicas en fonction de signaux d'utilisation tels que l'utilisation du processeur/GPU et la concurrence des requêtes, mais la mise à l'échelle est limitée par le minReplicaCount et le maxReplicaCount du modèle déployé et par le quota GPU régional. Lorsqu'un modèle pris en charge par GPU sature, chaque réplica met les requêtes en file d'attente, de sorte que la latence augmente jusqu'à ce que le délai d'attente (timeout) du client se déclenche ; l'ajout de réplicas répartit la charge concurrente. Une limite subtile : la mise à l'échelle n'est pas instantanée et les VM GPU peuvent prendre des minutes à être provisionnées, de sorte que les réplicas min doivent couvrir le trafic de base pour absorber les pics soudains. De plus, si le quota GPU est épuisé, la planification des nouveaux réplicas échoue silencieusement, ce qui maintient la latence élevée. Dans la pratique, un point de terminaison de prévision de vente au détail connaissant des pics à l'heure du déjeuner définit des réplicas min pour une charge constante et des réplicas max pour les pics, après avoir demandé un quota GPU NVIDIA suffisant dans la région.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.