Bonne réponse
- CAzure Synapse Analytics avec des pools Spark sans serveur
Explication
Azure Synapse Analytics avec des pools Spark sans serveur est le choix correct car il fournit un environnement Apache Spark sans serveur entièrement géré qui évolue automatiquement et élimine le besoin de gérer des clusters. Ce service prend directement en charge la transformation de grands ensembles de données dans Azure Data Lake Storage Gen2 en utilisant du code Python avec Spark, répondant à l'exigence de l'équipe pour une solution de mise à l'échelle automatique sans gestion de cluster.
Pour aller plus loin
La question porte sur la quantité d'infrastructure que chaque service vous oblige à gérer, et DP-900 s'attend à ce que vous placiez chaque service sur cette échelle. Azure Synapse Analytics combine l'intégration de données, l'entreposage de données d'entreprise et l'analyse de big data dans un seul espace de travail, et ses pools Apache Spark sont ce que Microsoft appelle sans serveur : vous définissez la taille de nœud du pool et les limites de mise à l'échelle automatique, et Synapse crée les ressources Spark uniquement lorsqu'un notebook ou un travail démarre, les met à l'échelle avec la charge de travail et les met en pause après un délai d'inactivité, vous payez donc pour le temps d'exécution sans gérer de clusters. Les notebooks prennent en charge Python (PySpark), Scala, .NET et Spark SQL, et lisent et écrivent directement dans Azure Data Lake Storage Gen2, qui est le stockage principal de l'espace de travail. Le même espace de travail propose également des pools SQL sans serveur pour interroger des fichiers dans le lac avec T-SQL, et des pipelines pour l'orchestration. Les alternatives sont des plateformes Spark raisonnables avec des compromis différents. Azure HDInsight fournit des clusters open source gérés (Spark, Hadoop, Kafka) que vous dimensionnez et maintenez, plus proches de la gestion d'infrastructure. Azure Databricks est une plateforme basée sur Spark, très courante pour l'ingénierie des données, construite autour de clusters et de son propre espace de travail, bien qu'elle ait ajouté des options sans serveur ; dans les questions d'examen, c'est généralement la réponse lorsque les notebooks collaboratifs ou l'écosystème Databricks sont mis en avant. Azure Machine Learning est destiné à l'entraînement et au déploiement de modèles, pas à la transformation de données à usage général. Notez que Microsoft oriente les nouveaux travaux d'analyse vers Microsoft Fabric, qui propose des notebooks Spark similaires sur OneLake, mais Synapse reste la réponse attendue pour cette question.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement DP-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.