Bonne réponse
- BAugmentez le nombre de DPU allouées au travail Glue.
Explication
L'augmentation du nombre de DPU (unités de traitement de données) allouées au travail AWS Glue fournit plus de mémoire et de ressources de calcul, ce qui résout directement l'erreur de mémoire insuffisante lors du traitement de fichiers volumineux. Les travaux Glue s'exécutent sur Apache Spark, et des DPU insuffisantes peuvent amener les exécuteurs à manquer de mémoire lors d'opérations de mélange (shuffle) ou d'agrégation sur de grands ensembles de données.
Pour aller plus loin
Les travaux AWS Glue ETL s'exécutent sur un cluster d'unités de traitement de données (DPU) ; chaque DPU fournit une quantité fixe de vCPU et de mémoire. Les erreurs de mémoire lors du traitement de fichiers volumineux signifient généralement que le tas de l'exécuteur ou du pilote est épuisé, souvent parce qu'une seule partition est trop grande ou qu'une opération de mélange (shuffle) déborde excessivement. L'augmentation du nombre de DPU ajoute à la fois des exécuteurs et de la mémoire, permettant de traiter plus de partitions en parallèle et de réduire la charge par exécuteur. Réduire les partitions rendrait chaque partition plus grande et aggraverait le problème, un type d'instance plus petit réduit la mémoire, et S3 Select ne filtre que les colonnes au moment de la lecture et peut ne pas résoudre la cause racine. En pratique, un travail Glue lisant des fichiers JSON de plusieurs gigaoctets depuis S3 échoue avec OutOfMemory ; l'ingénieur augmente les DPU de 10 à 50 et le travail se termine, puis l'optimise ensuite en utilisant l'élagage des partitions et des formats colonnaires.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.