Bonne réponse
- BLe conteneur personnalisé a une fuite de mémoire ; implémentez la surveillance de la mémoire et définissez des limites de ressources pour le conteneur.
Explication
Une augmentation graduelle de la latence sur deux semaines, sans pic soudain, indique fortement une fuite de mémoire dans le conteneur personnalisé. À mesure que la fuite s'accumule, le ramasse-miettes (garbage collection) du conteneur devient moins efficace, entraînant des pauses de GC accrues et d'éventuels temps d'attente dépassés. Définir des limites de ressources et surveiller l'utilisation de la mémoire peut empêcher le conteneur d'épuiser la mémoire de l'hôte et de provoquer une dégradation des performances.
Pour aller plus loin
Un conteneur personnalisé sur un Vertex AI Endpoint s'exécute dans une machine virtuelle gérée ; si le processus de service perd de la mémoire, l'ensemble résident du conteneur augmente jusqu'à ce que l'hôte commence à swapper ou que le runtime le bride, et la latence par requête augmente progressivement sur plusieurs jours plutôt que de monter en pic soudain. Vertex AI expose les métriques de mémoire des conteneurs via Cloud Monitoring, et la configuration d'une limite de mémoire de conteneur ainsi qu'une sonde de vivacité (liveness probe) permet à la plateforme de redémarrer la réplique avant que des délais d'attente ne surviennent. Cela diffère de la latence liée au trafic, qui serait corrélée au taux de requêtes et résolue par le passage à l'échelle automatique (autoscaling) du nombre de répliques. Le scénario réaliste est un serveur d'inférence Python mettant en cache des tenseurs par requête sans éviction, se dégradant régulièrement jusqu'à ce que les clients rencontrent des erreurs de délai dépassé.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.