DifficileChoix unique

Question d'entraînement SAP-C02

Une entreprise conçoit une nouvelle plateforme d'analyse en temps réel qui traite des données en continu (streaming) provenant d'appareils IoT. Les données doivent être ingérées, traitées avec des agrégations par fenêtres et stockées dans Amazon S3 pour des analyses à long terme. La solution doit gérer les données arrivant en retard et fournir une sémantique de traitement exactement une fois (exactly-once). Quelle combinaison de services AWS l'architecte doit-il utiliser ?

Choisissez la meilleure réponse.

Bonne réponse

  • DUtiliser Amazon Kinesis Data Analytics pour Apache Flink pour traiter les données de Kinesis Data Streams et les envoyer vers S3.

Explication

Amazon Kinesis Data Analytics pour Apache Flink offre un support intégré pour les agrégations par fenêtres, la sémantique de traitement exactement une fois et la gestion des données arrivant en retard via la tolérance au retard (allowed lateness) et le filigrane (watermarking). Il peut envoyer les résultats traités directement vers Amazon S3 à l'aide d'un récepteur (sink) Flink, répondant ainsi à toutes les exigences d'une plateforme d'analyse en temps réel.

Pourquoi chaque option est juste ou fausse

A

Fausse

Utiliser Amazon Kinesis Data Firehose pour ingérer les données et AWS Glue pour le traitement.

Kinesis Data Firehose effectue la livraison et une transformation optionnelle, mais manque d'agrégation par fenêtres et de sémantique exactement une fois pour les enregistrements arrivant en retard. Il est tentant car il ingère des flux directement dans S3 avec une gestion minimale, et conviendrait à une livraison simple quasi en temps réel sans exigences de fenêtrage avec état.

B

Fausse

Utiliser Amazon EMR avec Spark Streaming pour traiter les données provenant de Kinesis Data Streams.

Spark Streaming sur EMR offre une sémantique au moins une fois (at-least-once) par défaut ; le traitement exactement une fois nécessite des récepteurs idempotents ou des écritures transactionnelles, et la gestion des données tardives nécessite de configurer manuellement le filigrane (watermarking). Il convient aux charges de travail Spark existantes nécessitant un traitement personnalisé, et non à un service de streaming géré doté de fonctionnalités intégrées de traitement exactement une fois et de fenêtrage.

C

Fausse

Utiliser AWS Lambda pour traiter les enregistrements de Kinesis Data Streams et les stocker dans S3.

L'intégration Kinesis de Lambda traite des lots mais manque d'agrégation par fenêtres native et de sémantique exactement une fois basée sur des points de contrôle ; les nouvelles tentatives peuvent dupliquer les écritures dans S3. Il convient aux transformations légères par enregistrement pilotées par des événements, et non à des analyses de streaming avec état nécessitant une gestion des données tardives et une livraison unique garantie.

D

Juste

Utiliser Amazon Kinesis Data Analytics pour Apache Flink pour traiter les données de Kinesis Data Streams et les envoyer vers S3.

Apache Flink sur Kinesis Data Analytics fournit un traitement basé sur l'heure des événements avec des filigranes (watermarks), permettant des agrégations par fenêtres qui gèrent correctement les enregistrements IoT arrivant en retard, et son système de points de contrôle (checkpointing) délivre une sémantique exactement une fois. Kinesis Data Streams ingère le flux, tandis que le connecteur S3 de Flink écrit les résultats agrégés pour des analyses à long terme, satisfaisant ainsi toutes les contraintes énoncées.

Pour aller plus loin

Amazon Kinesis Data Analytics pour Apache Flink exécute une application Flink gérée qui consomme des flux Kinesis Data Streams, prend en charge des agrégations par fenêtres basées sur l'heure des événements et peut sauvegarder l'état (checkpoint) sur un stockage durable pour obtenir un traitement exactement une fois. Flink gère les données arrivant en retard grâce au délai autorisé et aux filigranes (watermarks), émettant des résultats mis à jour pour les fenêtres qui reçoivent des événements retardés. L'application peut écrire des résultats dans Amazon S3 à l'aide du connecteur FileSystem de Flink avec une sémantique exactement une fois via les points de contrôle. Kinesis Data Firehose avec AWS Glue ne dispose pas de fenêtrage natif ni de traitement de flux exactement une fois ; les consommateurs basés sur Lambda sont par défaut au moins une fois (at-least-once) et peinent avec les fenêtres avec état ; EMR avec Spark Streaming fournit au moins une fois à moins que des récepteurs idempotents ne soient conçus. Pour la télémétrie IoT où la lecture d'un capteur peut arriver avec quelques minutes de retard, la configuration du filigrane et du délai autorisé de Flink garantit des agrégats précis sans double comptage.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement SAP-C02 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.