DifícilMúltipla escolha

Questão de prática de SAP-C02

Uma empresa está projetando uma nova plataforma de análise em tempo real que processa dados de streaming de dispositivos IoT. Os dados devem ser ingeridos, processados com agregações baseadas em janelas e armazenados no Amazon S3 para análises de longo prazo. A solução deve lidar com dados que chegam atrasados e fornecer semântica de processamento exatamente uma vez. Qual combinação de serviços da AWS o arquiteto deve usar?

Escolha a melhor resposta.

Resposta correta

  • DUsar o Amazon Kinesis Data Analytics for Apache Flink para processar dados do Kinesis Data Streams e enviar a saída para o S3.

Explicação

O Amazon Kinesis Data Analytics for Apache Flink fornece suporte integrado para agregações baseadas em janelas, semântica de processamento exatamente uma vez e tratamento de dados que chegam atrasados por meio de atraso permitido (allowed lateness) e watermarking. Ele pode enviar os resultados processados diretamente para o Amazon S3 usando um coletor (sink) do Flink, atendendo a todos os requisitos de uma plataforma de análise em tempo real.

Por que cada alternativa está certa ou errada

A

Incorreta

Usar o Amazon Kinesis Data Firehose para ingerir dados e o AWS Glue para processamento.

O Kinesis Data Firehose realiza entrega e transformação opcional, mas carece de agregação baseada em janelas e semântica exatamente uma vez para registros que chegam atrasados. É atraente porque ingere streams diretamente no S3 com gerenciamento mínimo e seria correto para entrega simples e quase em tempo real sem requisitos de janelas com estado.

B

Incorreta

Usar o Amazon EMR com Spark Streaming para processar dados do Kinesis Data Streams.

O Spark Streaming no EMR oferece semântica de pelo menos uma vez por padrão; exatamente uma vez requer coletores idempotentes ou gravações transacionais, e o tratamento de dados atrasados precisa de watermarking configurado manualmente. Ele atende a cargas de trabalho Spark existentes que precisam de processamento personalizado, e não a um serviço de streaming gerenciado com recursos integrados de exatamente uma vez e janelas.

C

Incorreta

Usar o AWS Lambda para processar registros do Kinesis Data Streams e armazenar no S3.

A integração do Lambda com o Kinesis processa lotes, mas carece de agregação baseada em janelas nativa e semântica exatamente uma vez com checkpoint; novas tentativas podem duplicar gravações no S3. Ela se encaixa em transformações leves orientadas a eventos por registro, e não em análises de streaming com estado que exigem tratamento de dados atrasados e entrega única garantida.

D

Correta

Usar o Amazon Kinesis Data Analytics for Apache Flink para processar dados do Kinesis Data Streams e enviar a saída para o S3.

O Apache Flink no Kinesis Data Analytics fornece processamento baseado em tempo de evento com marcas d'água, permitindo agregações baseadas em janelas que lidam corretamente com registros de IoT que chegam atrasados, e seu checkpoint entrega semântica exatamente uma vez. O Kinesis Data Streams ingere o stream, enquanto o conector S3 do Flink grava os resultados agregados para análises de longo prazo, satisfazendo todas as restrições declaradas.

Para se aprofundar

O Amazon Kinesis Data Analytics for Apache Flink executa uma aplicação Flink gerenciada que consome dados do Kinesis Data Streams, suporta agregações baseadas em janelas de tempo de evento e pode fazer o checkpoint do estado para armazenamento durável para alcançar o processamento exatamente uma vez. O Flink lida com dados que chegam atrasados por meio de atraso permitido e marcas d'água (watermarks), emitindo resultados atualizados para janelas que recebem eventos atrasados. A aplicação pode gravar resultados no Amazon S3 usando o coletor FileSystem do Flink com semântica exatamente uma vez via checkpointing. O Kinesis Data Firehose com o AWS Glue carece de janelas nativas e processamento de stream exatamente uma vez; consumidores baseados no Lambda são pelo menos uma vez por padrão e lutam com janelas com estado; o EMR com Spark Streaming fornece pelo menos uma vez, a menos que coletores idempotentes sejam projetados. Para telemetria de IoT onde a leitura de um sensor pode chegar minutos atrasada, a configuração de marca d'água e atraso permitido do Flink garante agregados precisos sem dupla contagem.

Sobre estas questões de prática

Esta é uma das questões de prática originais de SAP-C02 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.