MoyenneChoix unique

Question d'entraînement DP-900

Une équipe d'ingénierie des données doit transformer de grands ensembles de données stockés dans Azure Data Lake Storage Gen2 en utilisant Apache Spark avec du code Python. Ils souhaitent un service entièrement géré qui fournit des pools Spark sans serveur (serverless), ce qui signifie aucun cluster à gérer et une mise à l'échelle automatique. Quel service Azure doivent-ils utiliser ?

Choisissez la meilleure réponse.

Bonne réponse

  • CAzure Synapse Analytics avec des pools Spark sans serveur

Explication

Azure Synapse Analytics avec des pools Spark sans serveur est le choix correct car il fournit un environnement Apache Spark sans serveur entièrement géré qui évolue automatiquement et élimine le besoin de gérer des clusters. Ce service prend directement en charge la transformation de grands ensembles de données dans Azure Data Lake Storage Gen2 en utilisant du code Python avec Spark, répondant à l'exigence de l'équipe pour une solution de mise à l'échelle automatique sans gestion de cluster.

Pourquoi chaque option est juste ou fausse

A

Fausse

Azure HDInsight

Azure HDInsight est un service d'analyse de big data géré qui provisionne un cluster de machines virtuelles et nécessite que vous configuriez, mettiez à l'échelle et corrigiez vous-même les nœuds du cluster. Ce n'est pas sans serveur car vous êtes responsable du cycle de vie du cluster et vous continuez à payer pour les machines virtuelles sous-jacentes même lorsqu'aucun travail n'est en cours d'exécution. Pour transformer de grands ensembles de données à la demande, la surcharge opérationnelle et les coûts de cluster fixes d'HDInsight le rendent moins adapté qu'une solution offrant une mise à l'échelle automatique et une facturation à la seconde.

B

Fausse

Azure Databricks

Azure Databricks est une puissante plateforme basée sur Apache Spark qui peut être exécutée dans un mode de 'calcul sans serveur', mais il s'agit d'une offre multi-cloud distincte de la plateforme Databricks Lakehouse avec son propre espace de travail, ses politiques de cluster et son modèle de tarification. Dans Azure, Synapse Analytics fournit des pools Spark sans serveur nativement au sein du même espace de travail, tandis que Databricks nécessite souvent l'attachement d'une ressource de calcul explicite et une gestion séparée. Bien que Databricks puisse certainement transformer de grands ensembles de données, ce n'est pas la même chose que le Spark sans serveur d'Azure Synapse et il est considéré comme un produit distinct.

C

Juste

Azure Synapse Analytics avec des pools Spark sans serveur

Azure Synapse Analytics avec des pools Spark sans serveur est correct car il fournit un calcul Apache Spark à la demande qui démarre automatiquement, évolue automatiquement et s'arrête lorsqu'il est inactif, vous ne provisionnez donc ni ne gérez aucun cluster. Vous n'êtes facturé que pour les ressources de calcul consommées pendant l'exécution du travail (à la seconde), ce qui le rend bien adapté à la transformation et à l'exploration de grands ensembles de données stockés dans Azure Data Lake Storage. Le moteur Spark s'exécute directement sur les données en place, permettant des pipelines interactifs et évolutifs sans gestion d'infrastructure.

D

Fausse

Azure Machine Learning

Azure Machine Learning est conçu pour le cycle de vie complet de l'apprentissage automatique, y compris l'entraînement, le déploiement et la surveillance des modèles, et non comme un moteur de transformation de données à usage général. Bien que vous puissiez exécuter le prétraitement des données dans des notebooks ou des pipelines Azure Machine Learning, cela nécessite d'attacher ou de créer des ressources de calcul séparées et ne fournit pas l'expérience de transformation Spark simplifiée et à la demande des pools sans serveur Synapse. Par conséquent, ce n'est pas le service prévu ou le plus direct pour transformer de grands ensembles de données à grande échelle pour une équipe d'ingénierie des données.

Pour aller plus loin

La question porte sur la quantité d'infrastructure que chaque service vous oblige à gérer, et DP-900 s'attend à ce que vous placiez chaque service sur cette échelle. Azure Synapse Analytics combine l'intégration de données, l'entreposage de données d'entreprise et l'analyse de big data dans un seul espace de travail, et ses pools Apache Spark sont ce que Microsoft appelle sans serveur : vous définissez la taille de nœud du pool et les limites de mise à l'échelle automatique, et Synapse crée les ressources Spark uniquement lorsqu'un notebook ou un travail démarre, les met à l'échelle avec la charge de travail et les met en pause après un délai d'inactivité, vous payez donc pour le temps d'exécution sans gérer de clusters. Les notebooks prennent en charge Python (PySpark), Scala, .NET et Spark SQL, et lisent et écrivent directement dans Azure Data Lake Storage Gen2, qui est le stockage principal de l'espace de travail. Le même espace de travail propose également des pools SQL sans serveur pour interroger des fichiers dans le lac avec T-SQL, et des pipelines pour l'orchestration. Les alternatives sont des plateformes Spark raisonnables avec des compromis différents. Azure HDInsight fournit des clusters open source gérés (Spark, Hadoop, Kafka) que vous dimensionnez et maintenez, plus proches de la gestion d'infrastructure. Azure Databricks est une plateforme basée sur Spark, très courante pour l'ingénierie des données, construite autour de clusters et de son propre espace de travail, bien qu'elle ait ajouté des options sans serveur ; dans les questions d'examen, c'est généralement la réponse lorsque les notebooks collaboratifs ou l'écosystème Databricks sont mis en avant. Azure Machine Learning est destiné à l'entraînement et au déploiement de modèles, pas à la transformation de données à usage général. Notez que Microsoft oriente les nouveaux travaux d'analyse vers Microsoft Fabric, qui propose des notebooks Spark similaires sur OneLake, mais Synapse reste la réponse attendue pour cette question.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DP-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.