Bonne réponse
- DOrchestrer le pipeline à l'aide de Cloud Composer avec des politiques de nouvelle tentative sur l'opérateur Dataflow.
Explication
Cloud Composer (Apache Airflow) fournit des politiques de nouvelle tentative natives sur ses opérateurs Dataflow, permettant des nouvelles tentatives automatiques de la tâche Dataflow lorsqu'elle échoue en raison d'erreurs système transitoires. Cela résout le schéma de défaillance sporadique sans intervention manuelle, garantissant que le pipeline s'exécute de manière fiable toutes les 6 heures.
Pour aller plus loin
Cloud Composer est un service Apache Airflow géré qui orchestre des pipelines avec des mécanismes de nouvelle tentative intégrés. Les opérateurs Airflow, tels que DataflowStartFlexTemplateOperator, prennent en charge les nouvelles tentatives (retries), le délai de nouvelle tentative (retry_delay) et le recul exponentiel (exponential backoff). Lorsqu'une tâche Dataflow échoue avec une erreur système transitoire, l'opérateur peut automatiquement relancer la tâche sans intervention manuelle. C'est plus fiable que les nouvelles tentatives ad-hoc car l'état complet du pipeline est géré et les échecs sont consignés dans les journaux et font l'objet d'alertes. Un scénario réaliste : un pipeline de détection des fraudes s'exécute toutes les 6 heures ; une tâche Dataflow échoue occasionnellement en raison de problèmes transitoires, mais avec la politique de nouvelle tentative de Cloud Composer définie sur 3 essais avec un délai de 5 minutes, le pipeline récupère automatiquement, garantissant des mises à jour opportunes du modèle.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.