MédiaMúltipla escolha

Questão de prática de DP-900

Uma equipe de engenharia de dados precisa construir um pipeline ETL em lote que transforme grandes volumes de dados de clickstream armazenados como arquivos CSV no Azure Data Lake Storage Gen2. As transformações exigem a execução de código Python e Scala distribuído usando o Apache Spark. Os dados transformados serão carregados em um data warehouse para relatórios. A equipe deseja um ambiente de computação serverless que seja dimensionado automaticamente e cobre por segundo. Qual serviço do Azure eles devem usar para executar as transformações do Spark?

Escolha a melhor resposta.

Resposta correta

  • AAzure Synapse Analytics (Spark pools)

Explicação

O Azure Synapse Analytics (Spark pools) é a escolha correta porque fornece um ambiente de computação Apache Spark serverless que é dimensionado automaticamente e cobra por segundo, correspondendo perfeitamente ao requisito de executar transformações distribuídas em Python e Scala em grandes volumes de dados de clickstream armazenados no Azure Data Lake Storage Gen2. O serviço se integra diretamente ao data lake e pode carregar os resultados transformados em um dedicated SQL pool para relatórios de data warehouse.

Por que cada alternativa está certa ou errada

A

Correta

Azure Synapse Analytics (Spark pools)

Os Spark pools do Azure Synapse Analytics são a escolha correta porque fornecem um mecanismo de computação Apache Spark distribuído e gerenciado que pode executar código ETL em lote arbitrário escrito em Python, Scala ou SQL. Esses pools leem e gravam diretamente no Azure Data Lake Storage Gen2 com processamento em memória otimizado, e os pools serverless oferecem cobrança por segundo e pausa automática, o que é ideal para cargas de trabalho em lote intermitentes. Este é o ambiente de computação real necessário para transformações baseadas em Spark, e não apenas um serviço de orquestração ou streaming.

B

Incorreta

Azure Data Factory

O Azure Data Factory é uma ferramenta de PaaS de orquestração e ETL/ELT que coordena o movimento de dados, o agendamento e os gatilhos de pipeline. Ele pode copiar dados entre armazenamentos e invocar serviços de computação externos (como Spark pools do Synapse, Databricks ou HDInsight) por meio de serviços vinculados, mas não executa código Spark por conta própria. Seus fluxos de dados de mapeamento são transformações visuais sem código que são convertidas para Spark nos bastidores, mas não fornecem toda a flexibilidade de um trabalho Spark nativo que você escreveria e enviaria para um Spark pool. Portanto, o ADF sozinho não pode ser o ambiente de computação para o seu ETL em lote baseado em Spark.

C

Incorreta

Azure Stream Analytics

O Azure Stream Analytics foi projetado para processamento de fluxo em tempo real sobre dados em movimento usando janelas temporais e uma linguagem de consulta semelhante ao SQL, e não para ETL em lote em arquivos grandes de data lakes. Ele não oferece suporte a Python ou Scala, nem expõe um mecanismo de execução do Apache Spark, portanto, você não pode executar transformações distribuídas do Spark com ele. Embora possa gravar resultados agregados em destinos, sua arquitetura de baixa latência e seu modelo orientado a eventos são fundamentalmente desalinhados com uma carga de trabalho Spark em lote.

D

Incorreta

Azure Analysis Services

O Azure Analysis Services é um serviço de modelagem OLAP e semântica usado para criar modelos de BI tabulares que atendem a consultas rápidas semelhantes a cubos para ferramentas como Power BI e Excel. Ele depende do VertiPaq em memória ou DirectQuery para armazenar em cache e consultar dados pré-agregados, mas não possui nenhum mecanismo de computação Apache Spark e não pode executar transformações de dados distribuídas. É um consumidor downstream de dados processados, e não um mecanismo de transformação, portanto, é completamente irrelevante para a construção de um pipeline ETL em lote que exija código Spark para o processamento de data lake.

Para se aprofundar

Esta pergunta testa sua capacidade de distinguir entre orquestração, computação, streaming e modelagem na plataforma de dados do Azure. Um equívoco comum é que o Azure Data Factory pode realizar transformações pesadas sozinho; embora os fluxos de dados de mapeamento sejam executados em um Azure Integration Runtime que usa o Spark, eles são uma abstração diferente e carecem da profundidade do código Spark personalizado. Por outro lado, o Synapse Analytics converge vários mecanismos — SQL serverless, dedicated SQL pools e Spark pools —, portanto, você deve entender qual mecanismo é apropriado para uma tarefa. Na prática, um pipeline ETL em lote geralmente usa o ADF para coordenação e um cluster Spark (como os Spark pools do Synapse) para computação, onde o Spark serverless pode se auto-escalar e pausar para controlar os custos. Outra sutileza é que o Stream Analytics pode parecer útil porque grava em data lakes, mas seu modelo de consulta temporal não pode lidar com transformações distribuídas em várias etapas em arquivos em lote, razão pela qual a escolha do serviço de computação correto é fundamental para o design da arquitetura.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DP-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.