MoyenneChoix unique

Question d'entraînement PMLE

Une entreprise de commerce électronique utilise un modèle de recommandation déployé sur Vertex AI Endpoints. La latence du modèle augmente progressivement sur deux semaines, provoquant des expirations de délai (timeouts). Le modèle est servi à l'aide d'un conteneur personnalisé. Quelle est la cause racine la plus probable et l'action corrective ?

Choisissez la meilleure réponse.

Bonne réponse

  • BLe conteneur personnalisé a une fuite de mémoire ; implémentez la surveillance de la mémoire et définissez des limites de ressources pour le conteneur.

Explication

Une augmentation graduelle de la latence sur deux semaines, sans pic soudain, indique fortement une fuite de mémoire dans le conteneur personnalisé. À mesure que la fuite s'accumule, le ramasse-miettes (garbage collection) du conteneur devient moins efficace, entraînant des pauses de GC accrues et d'éventuels temps d'attente dépassés. Définir des limites de ressources et surveiller l'utilisation de la mémoire peut empêcher le conteneur d'épuiser la mémoire de l'hôte et de provoquer une dégradation des performances.

Pourquoi chaque option est juste ou fausse

A

Fausse

Le modèle reçoit plus de trafic ; mettez à l'échelle le nombre de répliques.

Une augmentation du trafic élèverait la latence immédiatement et de manière proportionnelle, et non progressivement sur deux semaines avec un modèle fixe. Le passage à l'échelle des répliques répond aux pics de charge soudains ; la dégradation graduelle dans un conteneur personnalisé pointe plutôt vers des fuites de mémoire ou un épuisement des ressources nécessitant un diagnostic au niveau du conteneur.

B

Juste

Le conteneur personnalisé a une fuite de mémoire ; implémentez la surveillance de la mémoire et définissez des limites de ressources pour le conteneur.

Une fuite de mémoire dans le conteneur personnalisé provoque un épuisement progressif des ressources, augmentant régulièrement la latence jusqu'à ce que des temps d'attente se produisent. La surveillance de l'utilisation de la mémoire et l'application de limites de ressources au conteneur détectent la fuite et empêchent qu'elle ne dégrade l'endpoint, répondant directement à la dérive de latence de deux semaines décrite.

C

Fausse

L'endpoint Vertex AI a changé d'URL ; mettez à jour l'application cliente.

Les URL des endpoints restent stables pendant toute la durée de vie de l'endpoint, et un changement d'URL provoquerait des échecs de connexion immédiats, et non une augmentation graduelle de la latence. La mise à jour de la configuration client est correcte après un redéploiement ou une migration d'endpoint, lorsque les requêtes échouent carrément au lieu de ralentir progressivement.

D

Fausse

La taille du fichier du modèle a augmenté en raison de l'ingénierie des caractéristiques ; réduisez le nombre de caractéristiques.

L'artefact d'un modèle déployé est figé au moment du déploiement ; l'ingénierie des caractéristiques se produit avant l'entraînement, de sorte que la taille du fichier ne peut pas augmenter pendant le service. Cela décrit un réentraînement avec un ensemble de fonctionnalités plus vaste, ce qui est la préoccupation correcte lorsque la précision du modèle, et non la latence, s'est dégradée.

Pour aller plus loin

Un conteneur personnalisé sur un Vertex AI Endpoint s'exécute dans une machine virtuelle gérée ; si le processus de service perd de la mémoire, l'ensemble résident du conteneur augmente jusqu'à ce que l'hôte commence à swapper ou que le runtime le bride, et la latence par requête augmente progressivement sur plusieurs jours plutôt que de monter en pic soudain. Vertex AI expose les métriques de mémoire des conteneurs via Cloud Monitoring, et la configuration d'une limite de mémoire de conteneur ainsi qu'une sonde de vivacité (liveness probe) permet à la plateforme de redémarrer la réplique avant que des délais d'attente ne surviennent. Cela diffère de la latence liée au trafic, qui serait corrélée au taux de requêtes et résolue par le passage à l'échelle automatique (autoscaling) du nombre de répliques. Le scénario réaliste est un serveur d'inférence Python mettant en cache des tenseurs par requête sans éviction, se dégradant régulièrement jusqu'à ce que les clients rencontrent des erreurs de délai dépassé.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.