MoyenneChoix unique

Question d'entraînement DP-900

Une équipe d'ingénierie des données doit créer un pipeline ETL par lots qui transforme de grands volumes de données de clics stockées sous forme de fichiers CSV dans Azure Data Lake Storage Gen2. Les transformations nécessitent l'exécution de code Python et Scala distribué à l'aide d'Apache Spark. Les données transformées seront chargées dans un data warehouse pour le reporting. L'équipe souhaite un environnement de calcul serverless qui s'adapte automatiquement et facture à la seconde. Quel service Azure doivent-ils utiliser pour exécuter les transformations Spark ?

Choisissez la meilleure réponse.

Bonne réponse

  • AAzure Synapse Analytics (Spark pools)

Explication

Azure Synapse Analytics (Spark pools) est le bon choix car il fournit un environnement de calcul Apache Spark serverless qui s'adapte automatiquement et facture à la seconde, répondant parfaitement à l'exigence d'exécuter des transformations distribuées en Python et Scala sur de grands volumes de données de clics stockés dans Azure Data Lake Storage Gen2. Le service s'intègre directement au data lake et peut charger les résultats transformés dans un dedicated SQL pool pour le reporting du data warehouse.

Pourquoi chaque option est juste ou fausse

A

Juste

Azure Synapse Analytics (Spark pools)

Les Spark pools d'Azure Synapse Analytics sont le bon choix car ils fournissent un moteur de calcul Apache Spark distribué et managé qui peut exécuter du code ETL par lots arbitraire écrit en Python, Scala ou SQL. Ces pools lisent et écrivent directement à partir d'Azure Data Lake Storage Gen2 avec un traitement en mémoire optimisé, et les pools serverless offrent une facturation à la seconde et une mise en pause automatique, ce qui est idéal pour les charges de travail par lots intermittentes. Il s'agit de l'environnement de calcul réel nécessaire aux transformations basées sur Spark, et non d'un simple service d'orchestration ou de streaming.

B

Fausse

Azure Data Factory

Azure Data Factory est un outil PaaS d'orchestration et d'ETL/ELT qui coordonne le mouvement des données, la planification et les déclencheurs de pipelines. Il peut copier des données entre des magasins et invoquer des services de calcul externes (tels que les Spark pools de Synapse, Databricks ou HDInsight) via des services liés, mais il n'exécute pas de code Spark lui-même. Ses flux de données de mappage sont des transformations visuelles sans code qui se traduisent en Spark en arrière-plan, mais ils ne fournissent pas toute la flexibilité d'un travail Spark natif que vous écririez et soumettriez à un Spark pool. Par conséquent, ADF seul ne peut pas être l'environnement de calcul pour votre ETL par lots basé sur Spark.

C

Fausse

Azure Stream Analytics

Azure Stream Analytics est conçu pour le traitement de flux en temps réel sur des données en mouvement à l'aide de fenêtres temporelles et d'un langage de requête de type SQL, et non pour l'ETL par lots sur des fichiers volumineux de data lakes. Il ne prend en charge ni Python ni Scala, ni n'expose de moteur d'exécution Apache Spark, vous ne pouvez donc pas exécuter de transformations Spark distribuées avec lui. Bien qu'il puisse écrire des résultats agrégés dans des destinations, son architecture à faible latence et son modèle piloté par les événements sont fondamentalement inadaptés à une charge de travail Spark par lots.

D

Fausse

Azure Analysis Services

Azure Analysis Services est un service de modélisation OLAP et sémantique utilisé pour créer des modèles BI tabulaires qui fournissent des requêtes rapides de type cube à des outils tels que Power BI et Excel. Il s'appuie sur VertiPaq en mémoire ou DirectQuery pour mettre en cache et interroger des données pré-agrégées, mais il ne dispose d'aucun moteur de calcul Apache Spark et ne peut pas exécuter de transformations de données distribuées. Il s'agit d'un consommateur en aval des données traitées, et non d'un moteur de transformation, il n'est donc absolument pas pertinent pour la construction d'un pipeline ETL par lots nécessitant du code Spark pour le traitement d'un data lake.

Pour aller plus loin

Cette question teste votre capacité à distinguer l'orchestration, le calcul, le streaming et la modélisation dans la plateforme de données Azure. Une idée fausse courante est qu'Azure Data Factory peut effectuer des transformations lourdes par lui-même ; bien que les flux de données de mappage s'exécutent sur un Azure Integration Runtime qui utilise Spark, ils constituent une abstraction différente et manquent de la profondeur du code Spark personnalisé. Inversement, Synapse Analytics converge plusieurs moteurs — SQL serverless, dedicated SQL pools et Spark pools —, vous devez donc comprendre quel moteur convient à une tâche. En pratique, un pipeline ETL par lots utilise souvent ADF pour la coordination et un cluster Spark (comme les Spark pools de Synapse) pour le calcul, où le Spark serverless peut s'auto-scaler et se mettre en pause pour contrôler les coûts. Une autre subtilité est que Stream Analytics peut sembler utile car il écrit dans des data lakes, mais son modèle de requête temporelle ne peut pas gérer des transformations distribuées en plusieurs étapes sur des fichiers par lots, c'est pourquoi le choix du bon service de calcul est essentiel pour la conception de l'architecture.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DP-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.