DifficileChoix unique

Question d'entraînement DEA-C01

Network Topology
aws kinesis describe-streamstream-name my-stream"StreamDescription": {"StreamName": "my-stream","StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream","StreamStatus": "ACTIVE","Shards": ["ShardId": "shardId-000000000000","HashKeyRange": {"StartingHashKey": "0","EndingHashKey": "170141183460469231731687303715884105727"},"SequenceNumberRange": {"StartingSequenceNumber": "49617280354433721362922140867345427375946737258393878530""ShardId": "shardId-000000000001","StartingHashKey": "170141183460469231731687303715884105728","EndingHashKey": "340282366920938463463374607431768211455""StartingSequenceNumber": "49617280354433721362922140867345427375946737258393878531"

Reportez-vous à l'exemple. Un ingénieur de données utilise un Kinesis Data Stream avec 2 shards. Le producteur utilise une clé de partition qui est l'ID utilisateur (un UUID). Le consommateur prend du retard. Quel changement améliorerait le débit ?

Choisissez la meilleure réponse.

Bonne réponse

  • BAugmenter le nombre de shards

Explication

Le consommateur prend du retard car le débit total du flux (1 MB/s ou 1 000 enregistrements/s par shard en écriture, et 2 MB/s par shard en lecture) est insuffisant pour le volume de données entrantes. L'augmentation du nombre de shards met à l'échelle la capacité d'écriture et de lecture de manière linéaire, permettant au consommateur de traiter les enregistrements plus rapidement et de rattraper son retard. Changer la clé de partition ou la période de rétention n'augmente pas le débit, et basculer vers Firehose modifie le modèle de livraison mais ne résout pas intrinsèquement le retard du consommateur.

Pourquoi chaque option est juste ou fausse

A

Fausse

Passer à Kinesis Data Firehose

Firehose livre vers des destinations telles que S3 ou Redshift plutôt que de servir de consommateur de flux basé sur le tirage (pull), il ne peut donc pas accélérer le traitement par shard du consommateur en retard existant. C'est tentant car Firehose ingère de grands volumes, mais c'est un service de livraison, pas un remplacement pour un consommateur Kinesis Data Streams.

B

Juste

Augmenter le nombre de shards

Le plafond de débit d'un flux est défini par son nombre de shards, et deux shards limitent la consommation parallèle. L'ajout de shards augmente ce plafond et répartit les enregistrements basés sur les UUID sur un plus grand nombre de consommateurs, permettant au consommateur en retard de rattraper son retard.

C

Fausse

Augmenter la période de rétention

La rétention détermine combien de temps les enregistrements restent rejouables, et non la vitesse à laquelle un consommateur les lit ; l'étendre laisse le plafond de lecture à deux shards inchangé. C'est tentant car une rétention plus longue prend en charge la récupération et le retraitement après des pannes, mais cela ne fait rien pour le débit lorsque le consommateur ne peut tout simplement pas suivre le rythme.

D

Fausse

Changer la clé de partition pour une valeur constante

Une clé de partition constante achemine chaque enregistrement vers un seul shard, réduisant de moitié le parallélisme utilisable et aggravant le retard. C'est tentant car les clés UUID se répartissent uniformément en théorie, pourtant la solution est le redimensionnement (resharding) ou l'enhanced fan-out. Concentrer les écritures sur un seul shard est le contraire de ce que le débit exige.

Pour aller plus loin

Le plafond de débit d'un Kinesis Data Stream est par shard : 1 MB/s ou 1 000 enregistrements/s en entrée et 2 MB/s en sortie, de sorte que deux shards limitent l'ingestion près de 2 MB/s. L'ajout de shards (ou l'utilisation du mode à la demande) augmente la capacité globale et permet au ventilateur amélioré (enhanced fan-out) du consommateur ou à de multiples consommateurs de paralléliser sur un plus grand nombre de shards. Changer la clé de partition pour une valeur constante canaliserait chaque enregistrement dans un seul shard, aggravant la limitation (throttling) du shard chaud ; la période de rétention affecte la fenêtre de relecture, pas le débit ; et Firehose est un service de livraison, non un substitut à la capacité du flux. En pratique, un ID utilisateur UUID se distribue bien, le goulot d'étranglement est donc le nombre de shards, et le redimensionnement avec UpdateShardCount est la correction directe.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.