Bonne réponse
- AActivez la mise à l'échelle automatique avec les réplicas min définis sur la charge de base et les réplicas max pour gérer la charge de pointe, et assurez-vous que le quota GPU est suffisant.
Explication
L'activation de la mise à l'échelle automatique (autoscaling) avec des réplicas min et max appropriés permet au point de terminaison de monter en charge dynamiquement pendant le trafic de pointe et de réduire la charge pendant le trafic faible, garantissant ainsi des ressources GPU suffisantes pour gérer la charge sans intervention manuelle. Il est également essentiel de garantir un quota GPU adéquat pour éviter l'épuisement des ressources. L'option B est erronée car le passage à un type de machine plus grand avec plus de vCPU ne résout pas la latence d'inférence liée au GPU ; le goulot d'étranglement est l'accélération GPU, pas le CPU. L'option C est erronée car l'augmentation statique des réplicas entraîne un surprovisionnement et du gaspillage pendant les heures creuses, et ne peut pas réagir rapidement aux pics de trafic soudains. L'option D est erronée car Cloud Functions est sans serveur (serverless) et ne prend pas en charge l'accélération GPU ; cela ajoute une latence supplémentaire et ne convient pas à l'inférence GPU en temps réel.
Pour aller plus loin
La mise à l'échelle automatique de Vertex AI Prediction ajuste le nombre de réplicas en fonction de signaux d'utilisation tels que l'utilisation du processeur/GPU et la concurrence des requêtes, mais la mise à l'échelle est limitée par le minReplicaCount et le maxReplicaCount du modèle déployé et par le quota GPU régional. Lorsqu'un modèle pris en charge par GPU sature, chaque réplica met les requêtes en file d'attente, de sorte que la latence augmente jusqu'à ce que le délai d'attente (timeout) du client se déclenche ; l'ajout de réplicas répartit la charge concurrente. Une limite subtile : la mise à l'échelle n'est pas instantanée et les VM GPU peuvent prendre des minutes à être provisionnées, de sorte que les réplicas min doivent couvrir le trafic de base pour absorber les pics soudains. De plus, si le quota GPU est épuisé, la planification des nouveaux réplicas échoue silencieusement, ce qui maintient la latence élevée. Dans la pratique, un point de terminaison de prévision de vente au détail connaissant des pics à l'heure du déjeuner définit des réplicas min pour une charge constante et des réplicas max pour les pics, après avoir demandé un quota GPU NVIDIA suffisant dans la région.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.