MoyenneChoix unique

Question d'entraînement PMLE

Une entreprise déploie un modèle de classification sur Vertex AI pour l'approbation de prêts. Après un mois, elle constate que la précision a chuté de manière significative. Que doit-elle faire en premier ?

Choisissez la meilleure réponse.

Bonne réponse

  • CVérifier la dérive des données à l'aide de Vertex AI Model Monitoring

Explication

Une baisse soudaine de la précision indique que les prédictions du modèle ne s'alignent plus sur la réalité terrain, ce qui est un symptôme classique de dérive des données (data drift). Vertex AI Model Monitoring peut détecter automatiquement la dérive dans les distributions de caractéristiques ou les sorties de prédiction par rapport à une base de référence, vous permettant d'identifier la cause racine avant de prendre des mesures correctives. Réentraîner ou revenir en arrière sans diagnostiquer d'abord la dérive pourrait gaspiller des ressources ou masquer le problème sous-jacent.

Pourquoi chaque option est juste ou fausse

A

Fausse

Réentraîner le modèle avec plus de données

Le réentraînement est une étape de remédiation, pas de diagnostic ; sans confirmer d'abord la dérive des données ou les changements d'étiquettes, de nouvelles données peuvent reproduire la même perte de précision. Le réentraînement serait correct une fois que l'analyse aura identifié la cause, par exemple une dérive de caractéristiques confirmée ou une dérive de concept dans les résultats de prêts récents.

B

Fausse

Augmenter le nombre de nœuds de prédiction

L'ajout de nœuds de prédiction augmente le débit de service et réduit la latencia ; il ne peut pas restaurer la précision, qui est une métrique de qualité du modèle non affectée par la mise à l'échelle horizontale. La mise à l'échelle des nœuds serait correcte si le symptôme était des délais d'attente ou une mise en file d'attente sous un volume de requêtes accru, et non une baisse de la précision de classification.

C

Juste

Vérifier la dérive des données à l'aide de Vertex AI Model Monitoring

La dégradation de la précision après le déploiement provient généralement du déplacement de la distribution d'entrée par rapport aux données d'entraînement. Vertex AI Model Monitoring calcule la dérive par rapport à la base de référence d'entraînement, de sorte que sa vérification en premier identifie si les distributions de caractéristiques ont bougé, s'attaquant directement à la baisse de précision avant le réentraînement ou l'ajustement.

D

Fausse

Revenir à la version précédente du modèle

Le retour en arrière restaure le comportement antérieur mais écarte la cause ; si la dérive persiste, l'ancien modèle se dégradera également et la rétrogradation peut enfreindre les exigences d'audit. Le retour en arrière serait correct lorsqu'un déploiement récent a introduit la régression et que la version précédente reste valide pour les données actuelles.

Pour aller plus loin

Vertex AI Model Monitoring compare le trafic de service à une base de référence d'entraînement et calcule des métriques de dérive telles que la divergence de Jensen-Shannon pour les caractéristiques catégorielles et la distance L-infini normalisée pour les caractéristiques numériques, avec des seuils configurables qui déclenchent des alertes. Une baisse de précision sur un modèle d'approbation de prêt est un symptôme ; la première étape de diagnostic consiste à déterminer si les distributions d'entrée ont changé, si les étiquettes ont changé ou si le modèle lui-même s'est dégradé. Model Monitoring fait surface à l'asymétrie (skew) et à la dérive des caractéristiques via Cloud Logging et la console, et peut être associé à la détection d'asymétrie entre entraînement et service. Réentraîner, mettre à l'échelle les nœuds de prédiction ou revenir en arrière sont des actions de remédiation qui doivent suivre les preuves. L'augmentation des nœuds de prédiction ne fait qu'ajouter de la capacité et ne peut pas restaurer la précision, donc agir avant de vérifier la dérive risque de masquer un changement de pipeline de données qui se reproduira.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.