MoyenneChoix unique

Question d'entraînement DEA-C01

Un ingénieur de données conçoit un pipeline d'ingestion de données pour charger des données d'une base de données Oracle sur site vers Amazon Redshift. Le pipeline doit capturer les modifications (insertions, mises à jour, suppressions) avec une faible latence et un impact minimal sur la base de données source. Quelle combinaison de services AWS l'ingénieur doit-il utiliser ?

Choisissez la meilleure réponse.

Bonne réponse

  • AAWS Database Migration Service (DMS) vers Amazon S3, puis COPY vers Redshift

Explication

AWS DMS avec réplication continue (capture de données modifiées) peut capturer les modifications d'Oracle avec un impact minimal et répliquer vers S3, puis effectuer un COPY dans Redshift. L'option B est incorrecte car Kinesis Data Streams nécessite un producteur personnalisé pour capturer les modifications Oracle et ne fournit pas de CDC natif à partir de bases de données Oracle. L'option C est incorrecte car AWS Glue avec JDBC est orienté par lots et ne prend pas en charge nativement la capture de données modifiées en temps réel. L'option D est incorrecte car AWS Lambda peut traiter des événements mais n'est pas conçu pour un CDC continu à faible latence à partir d'une base de données et nécessiterait du polling ou des déclencheurs.

Pourquoi chaque option est juste ou fausse

A

Juste

AWS Database Migration Service (DMS) vers Amazon S3, puis COPY vers Redshift

AWS DMS lit les journaux de restauration d'Oracle via la capture de données modifiées, de sorte que les insertions, les mises à jour et les suppressions sont répliquées en continu sans interroger les tables source, satisfaisant ainsi les contraintes de faible latence et d'impact minimal. Déposer les modifications dans Amazon S3 permet à Redshift de les charger par COPY, bien que les suppressions nécessitent une gestion de fusion.

B

Fausse

Amazon Kinesis Data Streams avec un producteur personnalisé sur Oracle

Un producteur personnalisé doit interroger Oracle lui-même pour détecter les modifications, ce qui ajoute de la charge et nécessite une logique de CDC sur mesure, violant l'exigence d'impact minimal. Kinesis Data Streams convient à l'ingestion d'événements personnalisés à haut débit, mais pas à la capture de modifications basée sur les journaux à partir d'une source relationnelle.

C

Fausse

AWS Glue avec connexion JDBC à Oracle, écrivant dans Redshift

Les tâches Glue JDBC effectuent des SELECT par lots, qui ne peuvent pas capturer les suppressions et analysent à plusieurs reprises la source, enfreignant les exigences de faible latence et d'impact minimal. Glue convient aux transformations ETL planifiées, et non à la capture continue de données modifiées à partir d'une base de données opérationnelle.

D

Fausse

AWS Lambda lisant à partir des journaux Oracle et écrivant dans Redshift

Lambda ne peut pas lire directement les journaux de restauration d'Oracle ; il n'a pas d'accès natif aux fichiers journaux sur site, de sorte que la capture des modifications nécessiterait des agents personnalisés et du polling. Lambda convient au traitement événementiel de flux ou d'objets S3, et non au CDC basé sur les journaux à partir d'une base de données.

Pour aller plus loin

AWS DMS effectue une réplication continue en lisant les journaux de restauration/archivage de la source via Oracle LogMiner ou Binary Reader, de sorte qu'il capture les insertions, les mises à jour et les suppressions sans émettre de requêtes SELECT lourdes sur les tables de production. Lorsque la cible est S3, DMS écrit des fichiers de capture de données modifiées au format CSV ou Parquet, incluant une colonne d'opération (I, U, D) ainsi que les images avant/après, que Redshift charge ensuite via COPY. Une subtilité intéressante à connaître : DMS pour les cibles S3 regroupe les modifications par lots dans des fichiers vidés selon la taille ou le délai d'attente, de sorte que la latence est limitée par ces paramètres plutôt que d'être réellement en temps réel par ligne. En pratique, cela compte pour le reporting quasi temps réel sur les systèmes de commande, où les suppressions doivent être reflétées et où l'on ne peut pas se permettre des scans de table complète sur la base de données OLTP pendant les heures de bureau.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.