MédiaMúltipla escolha

Questão de prática de DEA-C01

Um engenheiro de dados está projetando um pipeline de ingestão de dados para carregar dados de um banco de dados Oracle local para o Amazon Redshift. O pipeline deve capturar alterações (inserções, atualizações, exclusões) com baixa latência e impacto mínimo no banco de dados de origem. Qual combinação de serviços da AWS o engenheiro deve usar?

Escolha a melhor resposta.

Resposta correta

  • AAWS Database Migration Service (DMS) para o Amazon S3, depois COPY para o Redshift

Explicação

O AWS DMS com replicação contínua (captura de dados de alteração) pode capturar alterações do Oracle com impacto mínimo e replicar para o S3, depois executar o COPY no Redshift. A opção B está incorreta porque o Kinesis Data Streams requer um produtor personalizado para capturar alterações do Oracle e não fornece CDC nativo de bancos de dados Oracle. A opção C está incorreta porque o AWS Glue com JDBC é orientado a lote e não suporta nativamente a captura de dados de alteração em tempo real. A opção D está incorreta porque o AWS Lambda pode processar eventos, mas não foi projetado para CDC contínuo de baixa latência a partir de um banco de dados e exigiria sondagem (polling) ou gatilhos.

Por que cada alternativa está certa ou errada

A

Correta

AWS Database Migration Service (DMS) para o Amazon S3, depois COPY para o Redshift

O AWS DMS lê os redo logs do Oracle por meio de captura de dados de alteração, de modo que inserções, atualizações e exclusões são replicadas continuamente sem consultar as tabelas de origem, satisfazendo as restrições de baixa latencia e impacto mínimo. Despejar as alterações no Amazon S3 permite que o Redshift as carregue via COPY, embora as exclusões exijam tratamento de mesclagem.

B

Incorreta

Amazon Kinesis Data Streams com um produtor personalizado no Oracle

Um produtor personalizado deve consultar o próprio Oracle para detectar alterações, adicionando carga e exigindo lógica de CDC sob medida, violando o requisito de impacto mínimo. O Kinesis Data Streams é adequado para a ingestão de eventos personalizados de alto rendimento, mas não para a captura de alterações baseada em logs a partir de uma fonte relacional.

C

Incorreta

AWS Glue com conexão JDBC ao Oracle, gravando no Redshift

Os trabalhos do Glue JDBC executam comandos SELECT em lote, que não conseguem capturar exclusões e examinam repetidamente a origem, violando os requisitos de baixa latencia e impacto mínimo. O Glue é adequado para transformações ETL agendadas, e não para captura contínua de dados de alteração de um banco de dados operacional.

D

Incorreta

AWS Lambda lendo dos logs do Oracle e gravando no Redshift

O Lambda não pode ler os redo logs do Oracle diretamente; ele não tem acesso nativo a arquivos de log locais, portanto, a captura de alterações precisaria de agentes personalizados e sondagem. O Lambda é adequado para processamento orientado a eventos de streams ou objetos do S3, e não para CDC baseado em logs de um banco de dados.

Para se aprofundar

O AWS DMS realiza replicação contínua lendo os logs de redo/archive da origem através do Oracle LogMiner ou Binary Reader, capturando assim inserções, atualizações e exclusões sem emitir consultas SELECT pesadas contra as tabelas de produção. Quando o destino é o S3, o DMS grava arquivos de captura de dados de alteração em CSV ou Parquet, incluindo uma coluna de operação (I, U, D) mais as imagens anterior/posterior, que o Redshift então carrega via COPY. Uma sutileza que vale a pena saber: o DMS para destinos S3 agrupa as alterações em lotes em arquivos descarregados com base no tamanho ou no tempo limite, portanto, a latência é limitada por essas configurações em vez de ser verdadeiramente em tempo real por linha. Na prática, isso importa para relatórios quase em tempo real em sistemas de pedidos, onde você precisa que as exclusões sejam refletidas e não pode arcar com varreduras de tabela completa (full-table scans) no banco de dados OLTP durante o horário comercial.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.