DifficileChoix unique

Question d'entraînement DEA-C01

Une entreprise utilise Amazon Kinesis Data Firehose pour ingérer des données de journalisation provenant de serveurs Web dans Amazon S3. Les données sont au format JSON et chaque enregistrement pèse approximativement 2 KB. Le flux de diffusion est configuré pour mettre en mémoire tampon les enregistrements entrants pendant 60 secondes ou 5 MB, selon la première de ces limites. L'entreprise remarque que les données dans S3 sont retardées de jusqu'à 5 minutes pendant les heures de pointe. Quelle action réduirait le plus efficacement la latence de diffusion ?

Choisissez la meilleure réponse.

Bonne réponse

  • BDiminuer l'intervalle de la mémoire tampon à 15 secondes.

Explication

Le retard observé allant jusqu'à 5 minutes pendant les heures de pointe indique que le seuil de taille de la mémoire tampon (5 MB) est rarement atteint car chaque enregistrement ne fait que ~2 KB, de sorte que le flux de diffusion dépend de l'intervalle de la mémoire tampon (60 secondes) pour déclencher la livraison. En diminuant l'intervalle de la mémoire tampon à 15 secondes, Kinesis Data Firehose transmettra les données à S3 plus fréquemment, réduisant directement la latence maximale de 60 secondes à 15 secondes par lot, ce qui élimine les retards cumulés causés par la mise en file d'attente pendant les périodes de fort débit.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter la taille de la mémoire tampon à 10 MB pour permettre plus d'enregistrements par diffusion.

Une taille de mémoire tampon plus grande augmente la latence car davantage de données s'accumulent avant la livraison.

B

Juste

Diminuer l'intervalle de la mémoire tampon à 15 secondes.

Un intervalle de mémoire tampon plus court déclenche des livraisons plus fréquentes, réduisant la latence.

C

Fausse

Activer la compression (GZIP) sur le flux de diffusion.

La compression réduit la taille des fichiers mais n'affecte pas la fréquence de livraison.

D

Fausse

Activer la transformation des données avec AWS Lambda pour convertir JSON en Parquet.

La transformation ajoute du temps de traitement, ce qui peut potentiellement augmenter la latence.

Pour aller plus loin

Kinesis Data Firehose utilise une mémoire tampon par fragment (shard) qui se vide en fonction du premier critère atteint entre la taille de la mémoire tampon et l'intervalle de la mémoire tampon ; avec de petits enregistrements (~2 KB), l'intervalle de la mémoire tampon est le déclencheur dominant. En arrière-plan, Firehose regroupe les enregistrements dans un seul objet S3 par vidage, et pendant les heures de pointe, plusieurs fragments peuvent s'accumuler dans la file d'attente si l'intervalle est trop long, provoquant un retard en cascade car chaque vidage attend que l'opération S3 PUT précédente soit terminée. Dans les scénarios réels, le réglage de l'intervalle de la mémoire tampon entre 15 et 60 secondes est une optimisation courante pour les pipelines de streaming à faible latence, tandis que les ajustements de la taille de la mémoire tampon ne sont efficaces que lorsque les enregistrements sont suffisamment volumineux pour atteindre fréquemment le seuil de taille.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.