MédiaMúltipla escolha

Questão de prática de DP-900

Uma equipe de engenharia de dados precisa transformar grandes conjuntos de dados armazenados no Azure Data Lake Storage Gen2 usando Apache Spark com código Python. Eles querem um serviço totalmente gerenciado que forneça pools Spark sem servidor (serverless), o que significa que não há clusters para gerenciar e escalonamento automático. Qual serviço do Azure eles devem usar?

Escolha a melhor resposta.

Resposta correta

  • CAzure Synapse Analytics com pools Spark sem servidor

Explicação

O Azure Synapse Analytics com pools Spark sem servidor é a escolha correta porque fornece um ambiente Apache Spark sem servidor e totalmente gerenciado que escala automaticamente e elimina a necessidade de gerenciar clusters. Este serviço suporta diretamente a transformação de grandes conjuntos de dados no Azure Data Lake Storage Gen2 usando código Python com Spark, atendendo ao requisito da equipe por uma solução de escalonamento automático sem gerenciamento de cluster.

Por que cada alternativa está certa ou errada

A

Incorreta

Azure HDInsight

O Azure HDInsight é um serviço de análise de big data gerenciado que provisiona um cluster de máquinas virtuais e exige que você configure, escale e aplique patches nos nós do cluster por conta própria. Não é sem servidor porque você é responsável pelo ciclo de vida do cluster e continua pagando pelas máquinas virtuais subjacentes mesmo quando nenhum trabalho está sendo executado. Para transformar grandes conjuntos de dados sob demanda, a sobrecarga operacional e os custos fixos de cluster do HDInsight o tornam menos adequado do que uma solução que oferece escalonamento automático e cobrança por segundo.

B

Incorreta

Azure Databricks

O Azure Databricks é uma plataforma poderosa baseada em Apache Spark que pode ser executada em um modo de 'computação sem servidor', mas é uma oferta multinuvem separada da plataforma Databricks Lakehouse com seu próprio espaço de trabalho, políticas de cluster e modelo de preços. No Azure, o Synapse Analytics fornece pools Spark sem servidor nativamente dentro do mesmo espaço de trabalho, enquanto o Databricks geralmente requer a anexação de um recurso de computação explícito e gerenciamento separado. Embora o Databricks possa certamente transformar grandes conjuntos de dados, não é o mesmo que o Spark sem servidor do Azure Synapse e é considerado um produto distinto.

C

Correta

Azure Synapse Analytics com pools Spark sem servidor

O Azure Synapse Analytics com pools Spark sem servidor está correto porque fornece computação Apache Spark sob demanda que inicia automaticamente, escala automaticamente e desliga quando ocioso, portanto, você não provisiona nem gerencia nenhum cluster. Você é cobrado apenas pelos recursos de computação consumidos durante a execução do trabalho (por segundo), o que o torna bem adequado para a transformação e exploração de grandes conjuntos de dados armazenados no Azure Data Lake Storage. O mecanismo Spark é executado diretamente nos dados no local, permitindo pipelines interativos e escaláveis sem gerenciamento de infraestrutura.

D

Incorreta

Azure Machine Learning

O Azure Machine Learning foi projetado para o ciclo de vida de aprendizado de máquina de ponta a ponta, incluindo treinamento, implantação e monitoramento de modelos, não como um mecanismo de transformação de dados de propósito geral. Embora você possa executar o pré-processamento de dados em notebooks ou pipelines do Azure Machine Learning, isso requer anexar ou criar recursos de computação separados e não fornece a experiência de transformação Spark simplificada e sob demanda dos pools sem servidor do Synapse. Portanto, não é o serviço pretendido ou mais direto para transformar grandes conjuntos de dados em escala para uma equipe de engenharia de dados.

Para se aprofundar

A pergunta é sobre o quanto de infraestrutura cada serviço obriga você a gerenciar, e o DP-900 espera que você coloque cada serviço nessa escala. O Azure Synapse Analytics combina integração de dados, data warehousing empresarial e análise de big data em um único espaço de trabalho, e seus pools Apache Spark são o que a Microsoft chama de sem servidor: você define o tamanho do nó do pool e os limites de escalonamento automático, e o Synapse cria os recursos Spark apenas quando um notebook ou trabalho inicia, escala-os com a carga de trabalho e os pausa após um tempo de inatividade, então você paga pelo tempo de execução sem gerenciar clusters. Os notebooks suportam Python (PySpark), Scala, .NET e Spark SQL, e leem e gravam diretamente no Azure Data Lake Storage Gen2, que é o armazenamento principal do espaço de trabalho. O mesmo espaço de trabalho também oferece pools SQL sem servidor para consultar arquivos no lago com T-SQL, e pipelines para orquestração. As alternativas são plataformas Spark razoáveis com diferentes compensações. O Azure HDInsight fornece clusters de código aberto gerenciados (Spark, Hadoop, Kafka) que você dimensiona e mantém, mais próximos do gerenciamento de infraestrutura. O Azure Databricks é uma plataforma baseada em Spark, muito comum para engenharia de dados, construída em torno de clusters e seu próprio espaço de trabalho, embora tenha adicionado opções sem servidor; em questões de exame, geralmente é a resposta quando notebooks colaborativos ou o ecossistema Databricks são enfatizados. O Azure Machine Learning é para treinar e implantar modelos, não para transformação de dados de propósito geral. Observe que a Microsoft está direcionando o novo trabalho de análise para o Microsoft Fabric, que oferece notebooks Spark semelhantes sobre o OneLake, mas o Synapse continua sendo a resposta esperada para esta pergunta.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DP-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.