FácilMúltipla escolha

Questão de prática de DEA-C01

Um engenheiro de dados precisa armazenar logs JSON semiestruturados de vários microsserviços de maneira econômica para análise posterior usando o Amazon Athena. Os logs são gerados continuamente e o volume total é de cerca de 1 TB por dia. Os dados devem estar disponíveis para consulta minutos após a chegada. Qual solução de armazenamento é a mais apropriada?

Escolha a melhor resposta.

Resposta correta

  • CBucket do Amazon S3 com pastas particionadas

Explicação

O Amazon S3 com pastas particionadas é a solução mais apropriada porque fornece uma camada de armazenamento escalável e econômica para logs JSON semiestruturados, integrando-se nativamente ao Amazon Athena para consultas sem servidor. Ao particionar os dados por tempo (por exemplo, ano/mês/dia/hora), o Athena pode usar a eliminação de partições para minimizar os dados verificados, permitindo consultas minutos após a chegada. O baixo custo por GB do S3 e as políticas de ciclo de vida otimizam ainda mais o armazenamento para o volume de 1 TB/dia.

Por que cada alternativa está certa ou errada

A

Incorreta

Tabela do Amazon DynamoDB com atributo JSON

O DynamoDB armazena itens para padrões de acesso baseados em chave e não pode ser consultado diretamente pelo Athena sem exportação para o S3, adicionando latência e custo. Seria correto para pesquisas de baixa latência por chave de partição, não para armazenamento econômico de 1 TB de logs JSON diários analisados via Athena.

B

Incorreta

Tabela do Amazon RDS for PostgreSQL com coluna JSON

O RDS for PostgreSQL exige que os logs JSON sejam inseridos em uma tabela, e o Athena não pode consultar essa tabela diretamente; os dados precisariam de extração para o S3 primeiro. O RDS atende a cargas de trabalho transacionais que precisam de integridade relacional, não ao armazenamento barato em massa de logs semiestruturados consultados no local.

C

Correta

Bucket do Amazon S3 com pastas particionadas

O Amazon S3 armazena JSON a um baixo custo por terabyte e integra-se nativamente ao Athena, que consulta os dados no local. O particionamento de pastas por data ou serviço elimina dados verificados, reduzindo o custo e a latência da consulta, para que os logs se tornem consultáveis minutos após a chegada.

D

Incorreta

Cluster do Amazon Redshift com ingestão de JSON

O Redshift exige o carregamento de dados em computação provisionada ou sem servidor antes da consulta, portanto, logs JSON chegando continuamente precisariam de operações de staging e COPY, atrasando a disponibilidade além de minutos. O Redshift atende a cargas de trabalho analíticas estruturadas com joins complexos, não ao armazenamento barato de logs semiestruturados brutos consultados no local pelo Athena.

Para se aprofundar

O Athena é um mecanismo de consulta sem servidor que lê diretamente do Amazon S3 usando o AWS Glue Data Catalog, portanto, o armazenamento e a computação escalam de forma independente e você paga por terabyte verificado. Particionar o layout de prefixo do S3, por exemplo, por ano/mês/dia ou nome do serviço, permite que o mecanismo de consulta elimine objetos irrelevantes via projeção de partição, reduzindo drasticamente os bytes verificados e o custo. Um limite sutil: cada solicitação do S3 retorna no máximo 1.000 chaves, e o Athena tem um tempo limite de consulta de 30 minutos, portanto, arquivos muito pequenos prejudicam o desempenho; busque objetos de 128 MB ou maiores. Na prática, um fluxo JSON de 1 TB/dia chega ao S3 via Kinesis Data Firehose, é catalogado e torna-se consultável em minutos, o que o DynamoDB, RDS ou Redshift não conseguem igualar de forma tão econômica para SQL ad hoc.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.