DifícilMúltipla escolha

Questão de prática de SAP-C02

Uma empresa está migrando um grande cluster Hadoop para o Amazon EMR. O cluster usa HDFS para armazenamento. A empresa deseja desacoplar a computação do armazenamento para reduzir custos. Qual abordagem a empresa deve adotar?

Escolha a melhor resposta.

Resposta correta

  • AUsar o Amazon S3 como armazenamento de dados e EMRFS

Explicação

O uso do Amazon S3 como armazenamento de dados com o EMRFS desacopla a computação e o armazenamento — os clusters do EMR podem ler e gravar diretamente no S3, e o cluster pode ser encerrado sem perda de dados. Isso reduz os custos ao permitir clusters transitórios e eliminar a sobrecarga de replicação do HDFS.

Por que cada alternativa está certa ou errada

A

Correta

Usar o Amazon S3 como armazenamento de dados e EMRFS

O EMRFS permite que o EMR leia e grave dados compatíveis com HDFS diretamente no Amazon S3, de modo que a camada de armazenamento do cluster persista independentemente de nós EC2 transitórios. Isso desacopla a computação do armazenamento, permitindo que os clusters sejam encerrados entre os trabalhos e cortando o custo de manutenção de volumes HDFS replicados.

B

Incorreta

Usar o Amazon FSx para Lustre

O FSx for Lustre fornece um sistema de arquivos temporário ou persistente de alto desempenho para processamento HPC e EMR, mas não é uma camada de armazenamento compatível com HDFS que o EMR pode usar como substituto direto para desacoplamento. Ele se adapta a dados temporários de rascunho junto com o S3, e não ao armazenamento primário do cluster.

C

Incorreta

Usar o Amazon EFS para HDFS

O HDFS do EMR não é substituído pelo EFS; o EMRFS é o sistema de arquivos apoiado pelo S3 que desacopla a computação do armazenamento, e o EFS carece da API do HDFS e da semântica de NameNode que o EMR espera. O EFS é adequado para acesso a arquivos POSIX compartilhados entre instâncias do EC2, e não para armazenamento do Hadoop.

D

Incorreta

Usar volumes EBS para HDFS

Os volumes EBS são anexados a nós EC2 individuais, portanto, os dados do HDFS permanecem vinculados ao cluster e a computação não pode ser dimensionada independentemente do armazenamento. Ele atrai porque o EBS fornece armazenamento de blocos durável para HDFS em clusters autogerenciados, o que se adapta a migrações lift-and-shift em que o desacoplamento não é um requisito.

Para se aprofundar

O EMRFS é a implementação do sistema de arquivos do EMR que permite aos clusters do EMR usar o S3 como se fosse o HDFS. Ele fornece uma visão consistente, que rastreia os metadados de objetos do S3 para detectar alterações, e oferece suporte a recursos como criptografia do lado do servidor do S3 e autorização do EMRFS. Um comportamento sutil: o EMRFS é eventualmente consistente por padrão, mas com a visão consistente ativada, ele pode fornecer consistência de leitura após a gravação para novos objetos. Além disso, os custos de armazenamento do S3 são significativamente menores do que o HDFS no EBS, e você pode usar as políticas de ciclo de vida do S3 para mover dados para o Glacier. Uso no mundo real: equipes de engenharia de dados executam clusters EMR transitórios para trabalhos em lote, apontando a entrada e a saída para o S3, e encerram o cluster após a conclusão do trabalho, pagando apenas pela duração da computação.

Sobre estas questões de prática

Esta é uma das questões de prática originais de SAP-C02 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.