FacileChoix unique

Question d'entraînement DEA-C01

Un ingénieur de données ingère des données en continu provenant de milliers d'appareils IoT dans AWS. Les données sont au format JSON et doivent être stockées dans Amazon S3 pour des analyses à long terme. Quel service est le plus approprié pour l'ingestion en temps réel et le routage vers S3 ?

Choisissez la meilleure réponse.

Bonne réponse

  • BAmazon Kinesis Data Firehose

Explication

Amazon Kinesis Data Firehose est le service le plus approprié car il est conçu pour l'ingestion en temps réel de données en continu et peut acheminer directement les données vers Amazon S3 sans nécessiter de code personnalisé. Il gère automatiquement la mise en mémoire tampon, la compression et le partitionnement des données JSON, ce qui le rend idéal pour le stockage d'analyses à long terme.

Pourquoi chaque option est juste ou fausse

A

Fausse

Amazon SQS

Amazon SQS est une file d'attente qui découple les producteurs des consommateurs ; elle stocke les messages de manière durable mais n'assure pas elle-même leur routage ou leur livraison dans Amazon S3, de sorte qu'un consommateur doit effectuer un scrutin (polling) et écrire. Elle est tentante pour la mise en mémoire tampon d'une ingestion à volume élevé, mais Amazon Kinesis Data Firehose effectue la livraison directe en temps réel vers S3.

B

Juste

Amazon Kinesis Data Firehose

Kinesis Data Firehose ingère des enregistrements en continu et les livre à Amazon S3 avec une mise en mémoire tampon, une compression et une conversion de format intégrées, ne nécessitant aucun code de consommateur. Cela répond à l'ingestion en temps réel provenant de milliers d'appareils IoT ainsi qu'au stockage durable dans S3 pour des analyses ultérieures.

C

Fausse

Amazon Kinesis Data Streams

Kinesis Data Streams fournit une ingestion en temps réel mais nécessite des consommateurs, tels que Kinesis Data Firehose ou des applications personnalisées, pour livrer les enregistrements dans Amazon S3 ; il n'achemine pas lui-même vers S3. Il serait correct là où plusieurs consommateurs personnalisés doivent lire le même flux avec possibilité de relecture.

D

Fausse

AWS Glue

AWS Glue est un service ETL sans serveur, et non un moteur d'ingestion en temps réel ; il lui manque des capacités natives d'ingestion en continu et il ne peut pas acheminer en continu des données de milliers d'appareils IoT vers S3 sans déclencheurs orientés traitement par lots ou tâches planifiées. Il est tentant car Glue peut transformer et charger des données dans S3 pour des analyses, ce qui en fait un choix correct pour le traitement par lots planifié ou événementiel de données déjà arrivées, mais il ne gère pas le streaming persistant à faible latence requis ici.

Pour aller plus loin

Kinesis Data Firehose est un flux de diffusion entièrement géré qui met en mémoire tampon les enregistrements entrants et les écrit vers des destinations telles que Amazon S3, Redshift, OpenSearch ou Splunk sans code de consommateur personnalisé. Sous le capot, il regroupe les enregistrements par taille (jusqu'à 128 MiB) ou par intervalle (60 à 900 secondes), les transforme éventuellement avec Lambda et peut convertir JSON en Parquet ou ORC à l'aide des schémas AWS Glue Data Catalog avant l'enregistrement dans S3. Une limite subtile à connaître : Firehose ne rejoue pas les données une fois livrées, et ses limites de 5 MiB par enregistrement et de 500 KB par appel Put façonnent la conception du producteur. Dans un scénario IoT, des milliers d'appareils publiant du JSON peuvent être acheminés vers S3 pour des analyses avec une latence quasi temps réel et un partitionnement automatique par année/mois/jour/heure, évitant ainsi d'avoir à développer et exploiter une application de consommation personnalisée sur Kinesis Data Streams.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.