DifícilMúltipla escolha

Questão de prática de DEA-C01

Network Topology
aws kinesis describe-streamstream-name my-stream"StreamDescription": {"StreamName": "my-stream","StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream","StreamStatus": "ACTIVE","Shards": ["ShardId": "shardId-000000000000","HashKeyRange": {"StartingHashKey": "0","EndingHashKey": "170141183460469231731687303715884105727"},"SequenceNumberRange": {"StartingSequenceNumber": "49617280354433721362922140867345427375946737258393878530""ShardId": "shardId-000000000001","StartingHashKey": "170141183460469231731687303715884105728","EndingHashKey": "340282366920938463463374607431768211455""StartingSequenceNumber": "49617280354433721362922140867345427375946737258393878531"

Consulte o anexo. Um engenheiro de dados está usando um Kinesis Data Stream com 2 shards. O produtor usa uma chave de partição que é o ID do usuário (um UUID). O consumidor está ficando para trás. Qual alteração melhoraria o throughput?

Escolha a melhor resposta.

Resposta correta

  • BAumentar o número de shards

Explicação

O consumidor está ficando para trás porque o throughput total do stream (1 MB/s ou 1.000 registros/s por shard para gravações, e 2 MB/s por shard para leituras) é insuficiente para o volume de dados de entrada. Aumentar o número de shards escala a capacidade de gravação e leitura linearmente, permitindo que o consumidor processe registros mais rapidamente e recupere o atraso. Alterar a chave de partição ou o período de retenção não aumenta o throughput, e mudar para o Firehose altera o modelo de entrega, mas não resolve inerentemente o atraso do consumidor.

Por que cada alternativa está certa ou errada

A

Incorreta

Mudar para o Kinesis Data Firehose

O Firehose entrega para destinos como S3 ou Redshift em vez de servir como um consumidor de stream baseado em pull, portanto, não pode acelerar o processamento por shard do consumidor existente que está atrasado. É tentador porque o Firehose ingere grandes volumes, mas é um serviço de entrega, não um substituto para um consumidor de Kinesis Data Streams.

B

Correta

Aumentar o número de shards

O limite de throughput de um stream é definido pela sua contagem de shards, e dois shards limitam o consumo paralelo. Adicionar shards aumenta esse limite e distribui os registros com chave UUID entre mais consumidores, permitindo que o consumidor atrasado recupere o ritmo.

C

Incorreta

Aumentar o período de retenção

A retenção governa por quanto tempo os registros permanecem reproduzíveis, não a rapidez com que um consumidor os lê; estendê-la deixa o limite de leitura de dois shards inalterado. É tentador porque uma retenção maior suporta recuperação e reprocessamento após falhas, mas não faz nada pelo throughput quando o consumidor simplesmente não consegue acompanhar.

D

Incorreta

Alterar a chave de partição para um valor constante

Uma chave de partição constante roteia cada registro para um único shard, reduzindo pela metade o paralelismo utilizável e piorando o atraso. É tentador porque chaves UUID se espalham uniformemente em teoria, mas a correção é o resharding ou o enhanced fan-out. Concentrar gravações em um único shard é o oposto do que o throughput exige.

Para se aprofundar

O limite de throughput de um Kinesis Data Stream é por shard: 1 MB/s ou 1.000 registros/s de entrada e 2 MB/s de saída, portanto, dois shards limitam a ingestão perto de 2 MB/s. Adicionar shards (ou usar o modo on-demand) aumenta a capacidade agregada e permite que o enhanced fan-out do consumidor ou múltiplos consumidores paralelizem o processamento em mais shards. Alterar a chave de partição para um valor constante canalizaria cada registro para um único shard, piorando o throttling de hot-shard; o período de retenção afeta a janela de replay, não o throughput; e o Firehose é um serviço de entrega, não um substituto para a capacidade do stream. Na prática, um ID de usuário UUID distribui bem os dados, então o gargalo é a contagem de shards, e o resharding com UpdateShardCount é a correção direta.

Sobre estas questões de prática

Esta é uma das questões de prática originais de DEA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.