MediaOpción múltiple

Pregunta de práctica de DP-900

Un equipo de ingeniería de datos necesita construir un pipeline ETL por lotes que transforme grandes volúmenes de datos de clics almacenados como archivos CSV en Azure Data Lake Storage Gen2. Las transformaciones requieren ejecutar código de Python y Scala distribuido utilizando Apache Spark. Los datos transformados se cargarán en un data warehouse para la generación de informes. El equipo desea un entorno de cómputo serverless que escale automáticamente y cobre por segundo. ¿Qué servicio de Azure deben utilizar para ejecutar las transformaciones de Spark?

Elige la mejor respuesta.

Respuesta correcta

  • AAzure Synapse Analytics (Spark pools)

Explicación

Azure Synapse Analytics (Spark pools) es la opción correcta porque proporciona un entorno de cómputo de Apache Spark serverless que escala automáticamente y cobra por segundo, coincidiendo perfectamente con el requisito de ejecutar transformaciones distribuidas en Python y Scala sobre grandes volúmenes de datos de clics almacenados en Azure Data Lake Storage Gen2. El servicio se integra directamente con el data lake y puede cargar los resultados transformados en un dedicated SQL pool para los informes del data warehouse.

Por qué cada opción es correcta o incorrecta

A

Correcta

Azure Synapse Analytics (Spark pools)

Los Spark pools de Azure Synapse Analytics son la opción correcta porque proporcionan un motor de cómputo de Apache Spark distribuido y administrado que puede ejecutar código ETL por lotes arbitrario escrito en Python, Scala o SQL. Estos pools leen y escriben directamente desde Azure Data Lake Storage Gen2 con un procesamiento en memoria optimizado, y los pools serverless ofrecen facturación por segundo y pausa automática, lo cual es ideal para cargas de trabajo por lotes intermitentes. Este es el entorno de cómputo real necesario para las transformaciones basadas en Spark, y no meramente un servicio de orquestación o streaming.

B

Incorrecta

Azure Data Factory

Azure Data Factory es una herramienta PaaS de orquestación y ETL/ELT que coordina el movimiento de datos, la programación y los activadores de pipelines. Puede copiar datos entre almacenes e invocar servicios de cómputo externos (como Spark pools de Synapse, Databricks o HDInsight) mediante servicios vinculados, pero no ejecuta código Spark por sí mismo. Sus flujos de datos de mapeo son transformaciones visuales sin código que se traducen a Spark en segundo plano, sin embargo, no proporcionan toda la flexibilidad de un trabajo de Spark nativo que escribirías y enviarías a un Spark pool. Por lo tanto, ADF por sí solo no puede ser el entorno de cómputo para tu ETL por lotes basado en Spark.

C

Incorrecta

Azure Stream Analytics

Azure Stream Analytics está diseñado para el procesamiento de flujos en tiempo real sobre datos en movimiento utilizando ventanas temporales y un lenguaje de consulta similar a SQL, no para ETL por lotes en archivos grandes de un data lake. No admite Python ni Scala, ni expone un motor de ejecución de Apache Spark, por lo que no puedes ejecutar transformaciones distribuidas de Spark con él. Aunque puede escribir resultados agregados en destinos, su arquitectura de baja latencia y su modelo orientado a eventos están fundamentalmente desalineados con una carga de trabajo de Spark por lotes.

D

Incorrecta

Azure Analysis Services

Azure Analysis Services es un servicio de modelado semántico y OLAP utilizado para crear modelos tabulares de BI que sirven consultas rápidas tipo cubo a herramientas como Power BI y Excel. Se basa en VertiPaq en memoria o DirectQuery para almacenar en caché y consultar datos preagregados, pero no tiene un motor de cómputo de Apache Spark y no puede ejecutar transformaciones de datos distribuidas. Es un consumidor descendente de datos procesados, no un motor de transformación, por lo que es completamente irrelevante para construir un pipeline ETL por lotes que requiera código Spark para el procesamiento en un data lake.

Para profundizar

Esta pregunta evalúa tu capacidad para distinguir entre orquestación, cómputo, streaming y modelado en la plataforma de datos de Azure. Un error común es pensar que Azure Data Factory puede realizar transformaciones pesadas por sí solo; aunque los flujos de datos de mapeo se ejecutan en un Azure Integration Runtime que utiliza Spark, son una abstracción diferente y carecen de la profundidad del código Spark personalizado. Por el contrario, Synapse Analytics converge múltiples motores —SQL serverless, dedicated SQL pools y Spark pools—, por lo que debes comprender qué motor es apropiado para cada tarea. En la práctica, un pipeline ETL por lotes a menudo utiliza ADF para la coordinación y un clúster de Spark (como los Spark pools de Synapse) para el cómputo, donde el Spark serverless puede autoescalarse y pausarse para controlar los costos. Otra sutileza es que Stream Analytics puede parecer útil porque escribe en data lakes, pero su modelo de consulta temporal no puede manejar transformaciones distribuidas y de múltiples pasos sobre archivos por lotes, razón por la cual elegir el servicio de cómputo correcto es fundamental para el diseño de la arquitectura.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DP-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.