Bonnes réponses
- AAugmenter le nombre de DPU alloués au travail Glue
- DOptimiser la logique de transformation pour utiliser moins de mémoire, par exemple en filtrant tôt
- EUtiliser un type de travailleur plus grand, tel que G.2X
Explication
L'augmentation du nombre de DPU alloués au travail Glue fournit plus de mémoire et de ressources de calcul pour les exécuteurs Spark, traitant directement les erreurs de mémoire insuffisante en permettant le traitement de jeux de données plus volumineux sans dépasser les limites de tas (heap). Il s'agit d'une approche de mise à l'échelle standard pour les charges de travail ETL gourmandes en mémoire dans AWS Glue.
Pour aller plus loin
AWS Glue alloue la capacité en unités de traitement de données (DPU), où un DPU fournit quatre vCPU et 16 Go de mémoire ; l'augmentation du nombre de DPU ou le passage à un type de travailleur plus grand tel que G.2X (qui offre plus de mémoire par exécuteur) augmente directement le plafond de mémoire disponible pour Spark. Le filtrage précoce dans la transformation réduit le volume de données mélangées et mises en cache, ce qui réduit la pression maximale sur la mémoire, et l'utilisation du pushdown de prédicat ou de l'élagage de partition permet d'obtenir un effet similaire. Une subtilité est que coalesce réduit le nombre de partitions sans mélange complet, ce qui peut aider lorsqu'il y a trop de petites partitions, mais cela peut aussi concentrer les données dans moins d'exécuteurs et aggraver la pression sur la mémoire si les partitions deviennent trop grandes ; repartition est le choix le plus sûr lorsque vous avez besoin d'une distribution uniforme. Ces leviers sont importants lorsque les travaux traitent des jeux de données asymétriques où quelques clés dominent le mélange.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.