MoyenneChoix multiples

Question d'entraînement DEA-C01

Une entreprise utilise AWS Glue ETL pour transformer et charger des données d'Amazon S3 vers Amazon Redshift. L'ingénieur de données remarque que le travail prend plus de temps que prévu. Quelles DEUX actions peuvent améliorer les performances du travail ?

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • BPartitionner les données sources dans S3.
  • CAugmenter le nombre de DPU pour le travail Glue.

Explication

Les options B et C sont correctes car le partitionnement des données sources dans S3 réduit la quantité de données lues par Glue, améliorant l'efficacité des E/S, et l'augmentation du nombre de DPU ajoute plus de parallélisme pour les transformations. L'option A est incorrecte car Redshift Spectrum sert à interroger directement les données dans S3 depuis Redshift, et non pour les travaux ETL Glue. L'option D est incorrecte car S3 Transfer Acceleration accélère les transferts vers S3 mais n'affecte pas les performances du travail Glue lors du traitement ETL. L'option E est incorrecte car des types de nœuds Redshift plus grands n'ont pas d'impact sur l'exécution du travail Glue ; ils n'affectent que les performances des requêtes Redshift.

Pourquoi chaque option est juste ou fausse

A

Fausse

Utiliser Amazon Redshift Spectrum pour interroger directement les données.

Les requêtes Redshift Spectrum interrogent directement les données externes contenues dans S3, en contournant l'étape de chargement, de sorte qu'elles n'accélèrent pas un travail Glue qui transforme et écrit dans des tables Redshift. C'est tentant car cela évite réellement le chargement des données, et ce serait correct si l'exigence était d'interroger les données S3 sans les ingérer dans Redshift.

B

Juste

Partitionner les données sources dans S3.

Le partitionnement des données sources dans S3 permet à AWS Glue de lire uniquement les partitions pertinentes plutôt que d'analyser l'ensemble du jeu de données, réduisant ainsi les E/S et le volume de brassage pendant la phase de transformation. Cela répond directement au problème de lenteur du travail en réduisant les octets lus avant le chargement dans Amazon Redshift.

C

Juste

Augmenter le nombre de DPU pour le travail Glue.

L'ajout de DPU augmente le nombre d'exécuteurs Apache Spark et de tâches parallèles disponibles pour le travail Glue, augmentant le débit pour les transformations lourdes en brassage. Cela répond directement à la contrainte d'un travail s'exécutant plus longtemps que prévu.

D

Fausse

Activer S3 Transfer Acceleration.

S3 Transfer Acceleration accélère les chargements vers S3 sur de longues distances géographiques, mais Glue lit depuis S3 dans la même région, de sorte qu'il n'ajoute aucun débit au travail ETL. C'est tentant car cela accélère réellement le mouvement des données S3, et ce serait correct si le goulot d'étranglement était constitué de téléchargements inter-régions dans le compartiment source plutôt que du traitement Glue.

E

Fausse

Utiliser un type de nœud Redshift plus grand.

Un type de nœud Redshift plus grand met à l'échelle le calcul et le stockage du cluster de destination, mais la durée d'exécution du travail Glue est régie par sa propre allocation de DPU et sa configuration de brassage, de sorte qu'il ne peut pas raccourcir la phase ETL. C'est tentant car le dimensionnement des nœuds Redshift améliore réellement les performances des requêtes, et ce serait correct si le problème était des requêtes Redshift lentes et non des travaux Glue lents.

Pour aller plus loin

Les travaux AWS Glue ETL lisent à partir de S3 et écrivent dans Redshift à l'aide du pilote JDBC Redshift, et les performances sont souvent limitées par l'analyse des données et le parallélisme. Le partitionnement des données sources dans S3 par colonnes de filtre courantes (par exemple, la date ou la région) permet à Glue d'utiliser l'élagage des partitions (partition pruning), en lisant uniquement les préfixes pertinents au lieu de l'ensemble du jeu de données. L'augmentation du nombre de DPU met à l'échelle le nombre d'exécuteurs, permettant davantage de tâches simultanées et des brassages (shuffles) plus rapides. Un comportement subtil : les travaux Glue ont un maximum de 100 DPU pour les workers standard, et l'ajout de DPU au-delà de ce que le volume de données justifie peut entraîner des exécuteurs inactifs et un coût plus élevé. Cela importe lorsque les travaux traitent des téraoctets de données et doivent respecter des SLA sans surprovisionnement.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.