MediaOpción múltiple

Pregunta de práctica de DP-900

Un equipo de ingeniería de datos necesita transformar grandes conjuntos de datos almacenados en Azure Data Lake Storage Gen2 utilizando Apache Spark con código Python. Quieren un servicio totalmente gestionado que proporcione pools de Spark sin servidor (serverless), lo que significa que no hay clústeres que gestionar y escalado automático. ¿Qué servicio de Azure deben utilizar?

Elige la mejor respuesta.

Respuesta correcta

  • CAzure Synapse Analytics con pools de Spark sin servidor

Explicación

Azure Synapse Analytics con pools de Spark sin servidor es la opción correcta porque proporciona un entorno de Apache Spark sin servidor y totalmente gestionado que escala automáticamente y elimina la necesidad de gestionar clústeres. Este servicio admite directamente la transformación de grandes conjuntos de datos en Azure Data Lake Storage Gen2 utilizando código Python con Spark, cumpliendo con el requisito del equipo de una solución de escalado automático sin gestión de clústeres.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Azure HDInsight

Azure HDInsight es un servicio de análisis de big data gestionado que aprovisiona un clúster de máquinas virtuales y requiere que usted configure, escale y aplique parches a los nodos del clúster usted mismo. No es sin servidor porque usted es responsable del ciclo de vida del clúster y sigue pagando por las máquinas virtuales subyacentes incluso cuando no hay trabajos ejecutándose. Para transformar grandes conjuntos de datos bajo demanda, la sobrecarga operativa y los costos fijos de clúster de HDInsight lo hacen menos adecuado que una solución que ofrece escalado automático y facturación por segundo.

B

Incorrecta

Azure Databricks

Azure Databricks es una potente plataforma basada en Apache Spark que se puede ejecutar en un modo de 'cómputo sin servidor', pero es una oferta multinube separada de la plataforma Databricks Lakehouse con su propio espacio de trabajo, políticas de clúster y modelo de precios. En Azure, Synapse Analytics proporciona pools de Spark sin servidor de forma nativa dentro del mismo espacio de trabajo, mientras que Databricks a menudo requiere adjuntar un recurso de cómputo explícito y una gestión separada. Aunque Databricks definitivamente puede transformar grandes conjuntos de datos, no es lo mismo que el Spark sin servidor de Azure Synapse y se considera un producto distinto.

C

Correcta

Azure Synapse Analytics con pools de Spark sin servidor

Azure Synapse Analytics con pools de Spark sin servidor es correcto porque proporciona cómputo de Apache Spark bajo demanda que se inicia automáticamente, escala automáticamente y se apaga cuando está inactivo, por lo que no aprovisiona ni gestiona ningún clúster. Se le factura solo por los recursos de cómputo consumidos durante la ejecución del trabajo (por segundo), lo que lo hace muy adecuado para la transformación y exploración de grandes conjuntos de datos almacenados en Azure Data Lake Storage. El motor de Spark se ejecuta directamente sobre los datos en el lugar, permitiendo canalizaciones interactivas y escalables sin gestión de infraestructura.

D

Incorrecta

Azure Machine Learning

Azure Machine Learning está diseñado para el ciclo de vida de aprendizaje automático de extremo a extremo, incluyendo el entrenamiento, despliegue y monitoreo de modelos, no como un motor de transformación de datos de propósito general. Aunque puede ejecutar el preprocesamiento de datos en cuadernos o canalizaciones de Azure Machine Learning, hacerlo requiere adjuntar o crear recursos de cómputo separados y no proporciona la experiencia de transformación de Spark simplificada y bajo demanda de los pools sin servidor de Synapse. Por lo tanto, no es el servicio previsto o más directo para transformar grandes conjuntos de datos a escala para un equipo de ingeniería de datos.

Para profundizar

La pregunta trata sobre cuánta infraestructura le obliga a gestionar cada servicio, y DP-900 espera que coloque cada servicio en esa escala. Azure Synapse Analytics combina integración de datos, almacenamiento de datos empresarial y análisis de big data en un solo espacio de trabajo, y sus pools de Apache Spark son lo que Microsoft llama sin servidor: usted define el tamaño del nodo del pool y los límites de escalado automático, y Synapse crea los recursos de Spark solo cuando comienza un cuaderno o trabajo, los escala con la carga de trabajo y los pausa después de un tiempo de inactividad, por lo que paga por el tiempo de ejecución sin gestionar clústeres. Los cuadernos admiten Python (PySpark), Scala, .NET y Spark SQL, y leen y escriben directamente en Azure Data Lake Storage Gen2, que es el almacenamiento principal del espacio de trabajo. El mismo espacio de trabajo también ofrece pools de SQL sin servidor para consultar archivos en el lago con T-SQL, y canalizaciones para la orquestación. Las alternativas son plataformas de Spark razonables con diferentes compensaciones. Azure HDInsight proporciona clústeres de código abierto gestionados (Spark, Hadoop, Kafka) que usted dimensiona y mantiene, más cerca de la gestión de infraestructura. Azure Databricks es una plataforma basada en Spark, muy común para la ingeniería de datos, construida alrededor de clústeres y su propio espacio de trabajo, aunque ha añadido opciones sin servidor; en las preguntas de examen suele ser la respuesta cuando se destacan los cuadernos colaborativos o el ecosistema de Databricks. Azure Machine Learning es para entrenar y desplegar modelos, no para la transformación de datos de propósito general. Tenga en cuenta que Microsoft está dirigiendo el nuevo trabajo de análisis hacia Microsoft Fabric, que ofrece cuadernos de Spark similares sobre OneLake, pero Synapse sigue siendo la respuesta esperada para esta pregunta.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DP-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.