MoyenneChoix unique

Question d'entraînement PMLE

Votre équipe gère un pipeline de ML de production sur Google Cloud qui entraîne un modèle de détection des fraudes toutes les 6 heures à l'aide de nouvelles données de transaction. Les étapes du pipeline sont : (1) Cloud Function déclenchée par de nouveaux fichiers dans Cloud Storage pour valider les données, (2) tâche Dataflow pour l'ingénierie des caractéristiques, (3) Vertex AI CustomJob pour l'entraînement, (4) Cloud Function pour déployer le modèle sur un endpoint Vertex AI après évaluation. Vous remarquez que le pipeline échoue parfois pendant l'étape de la tâche Dataflow avec une erreur : 'Workflow failed. Causes: The job encountered a system error. Please try again later.' L'erreur se produit de manière sporadique et le fait de relancer le pipeline manuellement réussit généralement. L'équipe a besoin d'une solution automatisée fiable. Que devez-vous faire ?

Choisissez la meilleure réponse.

Bonne réponse

  • DOrchestrer le pipeline à l'aide de Cloud Composer avec des politiques de nouvelle tentative sur l'opérateur Dataflow.

Explication

Cloud Composer (Apache Airflow) fournit des politiques de nouvelle tentative natives sur ses opérateurs Dataflow, permettant des nouvelles tentatives automatiques de la tâche Dataflow lorsqu'elle échoue en raison d'erreurs système transitoires. Cela résout le schéma de défaillance sporadique sans intervention manuelle, garantissant que le pipeline s'exécute de manière fiable toutes les 6 heures.

Pourquoi chaque option est juste ou fausse

A

Fausse

Planifier l'exécution du pipeline moins fréquemment pour réduire la charge sur le service Dataflow.

Réduire la fréquence laisse l'erreur système Dataflow transitoire non résolue ; le pipeline échoue toujours à chaque récurrence, mais moins souvent. La logique de nouvelle tentative, et non la cadence de planification, résout les pannes de service transitoires. Une fréquence plus faible convient à la réduction des coûts ou à des tâches véritablement limitées par la charge, et non à des erreurs d'infrastructure intermittentes nécessitant une récupération automatique.

B

Fausse

Utiliser Cloud Tasks pour mettre en file d'attente la tâche Dataflow et réessayer en cas d'échec.

Cloud Tasks met en file d'attente des rappels HTTP, et non des lancements de tâches Dataflow ; il ne peut pas détecter une étape Dataflow défaillante ni reprendre les étapes restantes du pipeline. Cloud Tasks convient à l'envoi de tâches asynchrones vers des endpoints HTTP. Ici, l'échec se produit à l'intérieur du flux de travail, ce qui nécessite une orchestration des nouvelles tentatives au niveau de l'étape.

C

Fausse

Augmenter le nombre de workers Dataflow et utiliser flexRS pour gérer les erreurs transitoires.

L'ajout de workers et de FlexRS répond aux besoins de coût et de capacité pour le traitement par lots, et non à l'erreur système transitoire elle-même ; la tâche peut toujours échouer sans nouvelle tentative automatique. FlexRS convient aux charges de travail par lots flexibles et non urgentes. L'énoncé nécessite une nouvelle tentative automatisée de l'étape défaillante, ce que le dimensionnement des workers ne fournit pas.

D

Juste

Orchestrer le pipeline à l'aide de Cloud Composer avec des politiques de nouvelle tentative sur l'opérateur Dataflow.

L'opérateur Dataflow de Cloud Composer prend en charge des politiques de nouvelle tentative configurables, de sorte que les erreurs système transitoires pendant l'étape Dataflow sont relancées automatiquement sans intervention manuelle. Cela répond directement à la contrainte de fiabilité : les pannes sporadiques qui réussissent lors d'une nouvelle tentative deviennent auto-réparatrices, tandis que le séquençage des dépendances sur les quatre étapes du pipeline est préservé.

Pour aller plus loin

Cloud Composer est un service Apache Airflow géré qui orchestre des pipelines avec des mécanismes de nouvelle tentative intégrés. Les opérateurs Airflow, tels que DataflowStartFlexTemplateOperator, prennent en charge les nouvelles tentatives (retries), le délai de nouvelle tentative (retry_delay) et le recul exponentiel (exponential backoff). Lorsqu'une tâche Dataflow échoue avec une erreur système transitoire, l'opérateur peut automatiquement relancer la tâche sans intervention manuelle. C'est plus fiable que les nouvelles tentatives ad-hoc car l'état complet du pipeline est géré et les échecs sont consignés dans les journaux et font l'objet d'alertes. Un scénario réaliste : un pipeline de détection des fraudes s'exécute toutes les 6 heures ; une tâche Dataflow échoue occasionnellement en raison de problèmes transitoires, mais avec la politique de nouvelle tentative de Cloud Composer définie sur 3 essais avec un délai de 5 minutes, le pipeline récupère automatiquement, garantissant des mises à jour opportunes du modèle.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.