MoyenneChoix multiples

Question d'entraînement DEA-C01

Une entreprise utilise AWS Glue pour exécuter des travaux ETL qui transforment les données de S3 vers Redshift. Les travaux échouent par intermittence avec des erreurs de mémoire insuffisante (out-of-memory). Quelles TROIS actions peuvent aider à résoudre ce problème ? (Choisissez TROIS réponses.)

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • AAugmenter le nombre de DPU alloués au travail Glue
  • DOptimiser la logique de transformation pour utiliser moins de mémoire, par exemple en filtrant tôt
  • EUtiliser un type de travailleur plus grand, tel que G.2X

Explication

L'augmentation du nombre de DPU alloués au travail Glue fournit plus de mémoire et de ressources de calcul pour les exécuteurs Spark, traitant directement les erreurs de mémoire insuffisante en permettant le traitement de jeux de données plus volumineux sans dépasser les limites de tas (heap). Il s'agit d'une approche de mise à l'échelle standard pour les charges de travail ETL gourmandes en mémoire dans AWS Glue.

Pourquoi chaque option est juste ou fausse

A

Juste

Augmenter le nombre de DPU alloués au travail Glue

Plus de DPU fournissent plus de mémoire et de ressources de calcul.

B

Fausse

Utiliser S3 Select pour filtrer les données avant la lecture dans le travail Glue

S3 Select applique un filtrage en amont mais ne résout pas directement les erreurs de mémoire insuffisante.

C

Fausse

Utiliser la fonction 'coalesce' de Spark pour réduire le nombre de partitions

Coalesce peut ne pas libérer de mémoire ; cela peut même provoquer une mémoire insuffisante si une asymétrie des données existe.

D

Juste

Optimiser la logique de transformation pour utiliser moins de mémoire, par exemple en filtrant tôt

La réduction précoce du volume de données réduit la pression sur la mémoire.

E

Juste

Utiliser un type de travailleur plus grand, tel que G.2X

Les types de travailleurs plus grands ont plus de mémoire par travailleur.

Pour aller plus loin

AWS Glue alloue la capacité en unités de traitement de données (DPU), où un DPU fournit quatre vCPU et 16 Go de mémoire ; l'augmentation du nombre de DPU ou le passage à un type de travailleur plus grand tel que G.2X (qui offre plus de mémoire par exécuteur) augmente directement le plafond de mémoire disponible pour Spark. Le filtrage précoce dans la transformation réduit le volume de données mélangées et mises en cache, ce qui réduit la pression maximale sur la mémoire, et l'utilisation du pushdown de prédicat ou de l'élagage de partition permet d'obtenir un effet similaire. Une subtilité est que coalesce réduit le nombre de partitions sans mélange complet, ce qui peut aider lorsqu'il y a trop de petites partitions, mais cela peut aussi concentrer les données dans moins d'exécuteurs et aggraver la pression sur la mémoire si les partitions deviennent trop grandes ; repartition est le choix le plus sûr lorsque vous avez besoin d'une distribution uniforme. Ces leviers sont importants lorsque les travaux traitent des jeux de données asymétriques où quelques clés dominent le mélange.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.