MédiaVárias respostas

Questão de prática de DEA-C01

Uma empresa está usando o AWS Glue ETL para transformar e carregar dados do Amazon S3 para o Amazon Redshift. O engenheiro de dados percebe que o trabalho está demorando mais do que o esperado. Quais DUAS ações podem melhorar o desempenho do trabalho?

Escolha todas as respostas corretas.

Respostas corretas

  • BParticionar os dados de origem no S3.
  • CAumentar o número de DPUs para o trabalho do Glue.

Explicação

As opções B e C estão corretas porque particionar os dados de origem no S3 reduz a quantidade de dados varridos pelo Glue, melhorando a eficiência de E/S, e aumentar o número de DPUs adiciona mais paralelismo para transformações. A opção A está incorreta porque o Redshift Spectrum serve para consultar dados no S3 diretamente do Redshift, e não para trabalhos do Glue ETL. A opção D está incorreta porque o S3 Transfer Acceleration acelera uploads para o S3, mas não afeta o desempenho do trabalho do Glue durante o processamento ETL. A opção E está incorreta porque tipos de nós maiores do Redshift não afetam a execução do trabalho do Glue; eles afetam apenas o desempenho de consultas no Redshift.

Por que cada alternativa está certa ou errada

A

Incorreta

Usar o Amazon Redshift Spectrum para consultar dados diretamente.

As consultas do Redshift Spectrum avaliam dados externos mantidos no S3 diretamente, ignorando a etapa de carregamento, portanto, não aceleram um trabalho do Glue que transforma e grava em tabelas do Redshift. É tentador porque evita genuinamente o carregamento de dados e estaria correto se o requisito fosse consultar dados do S3 sem ingeri-los no Redshift.

B

Correta

Particionar os dados de origem no S3.

O particionamento dos dados de origem no S3 permite que o AWS Glue leia apenas as partições relevantes em vez de varrer todo o conjunto de dados, cortando E/S e volume de embaralhamento durante o estágio de transformação. Isso aborda diretamente o trabalho lento do enunciado ao reduzir os bytes lidos antes de carregar no Amazon Redshift.

C

Correta

Aumentar o número de DPUs para o trabalho do Glue.

Adicionar DPUs aumenta o número de executores do Apache Spark e tarefas paralelas disponíveis para o trabalho do Glue, elevando a taxa de transferência para transformações pesadas em embaralhamento. Isso aborda diretamente a restrição do enunciado de um trabalho sendo executado por mais tempo do que o esperado.

D

Incorreta

Habilitar o S3 Transfer Acceleration.

O S3 Transfer Acceleration acelera uploads para o S3 em longas distâncias geográficas, mas o Glue lê do S3 dentro da mesma região, portanto, não adiciona taxa de transferência ao trabalho ETL. É tentador porque acelera genuinamente o movimento de dados do S3 e estaria correto se o gargalo fossem uploads entre regiões para o bucket de origem em vez do processamento do Glue.

E

Incorreta

Usar um tipo de nó do Redshift maior.

Um tipo de nó do Redshift maior dimensiona a computação e o armazenamento do cluster de destino, mas o tempo de execução do trabalho do Glue é governado por sua própria alocação de DPU e configuração de embaralhamento, portanto, ele não pode encurtar a fase ETL. É tentador porque o dimensionamento de nós do Redshift melhora genuinamente o desempenho das consultas, e estaria correto se consultas lentas no Redshift, e não trabalhos lentos do Glue, fossem o problema.

Para se aprofundar

Trabalhos do AWS Glue ETL leem do S3 e gravam no Redshift usando o driver JDBC do Redshift, e o desempenho geralmente é limitado pela varredura de dados e pelo paralelismo. O particionamento de dados de origem no S3 por colunas de filtro comuns (por exemplo, data ou região) permite que o Glue use a poda de partições (partition pruning), lendo apenas os prefixos relevantes em vez de todo o conjunto de dados. O aumento do número de DPUs dimensiona o número de executores, permitindo mais tarefas simultâneas e embaralhamentos (shuffles) mais rápidos. Um comportamento sutil: os trabalhos do Glue têm um máximo de 100 DPUs para workers padrão, e adicionar DPUs além do que o volume de dados justifica pode causar executores ociosos e custos mais altos. Isso importa quando os trabalhos processam terabytes de dados e precisam cumprir SLAs sem excesso de provisionamento.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.