MoyenneChoix unique

Question d'entraînement DEA-C01

Une entreprise utilise AWS Glue ETL pour traiter des données provenant d'Amazon S3 et écrire les résultats dans Amazon Redshift. Le travail échoue avec une erreur de mémoire lors du traitement de fichiers volumineux. Quelle action l'ingénieur de données doit-il entreprendre pour résoudre ce problème ?

Choisissez la meilleure réponse.

Bonne réponse

  • BAugmentez le nombre de DPU allouées au travail Glue.

Explication

L'augmentation du nombre de DPU (unités de traitement de données) allouées au travail AWS Glue fournit plus de mémoire et de ressources de calcul, ce qui résout directement l'erreur de mémoire insuffisante lors du traitement de fichiers volumineux. Les travaux Glue s'exécutent sur Apache Spark, et des DPU insuffisantes peuvent amener les exécuteurs à manquer de mémoire lors d'opérations de mélange (shuffle) ou d'agrégation sur de grands ensembles de données.

Pourquoi chaque option est juste ou fausse

A

Fausse

Réduisez le nombre de partitions dans le travail Glue.

Moins de partitions concentrent plus de données dans chaque tâche, augmentant la pression mémoire par exécuteur et aggravant l'échec. C'est tentant car la réduction des partitions diminue la surcharge des tâches, et serait correcte lorsque des partitions trop petites en excès provoquent une surcharge de planification plutôt qu'un épuisement de la mémoire.

B

Juste

Augmentez le nombre de DPU allouées au travail Glue.

L'augmentation des DPU ajoute plus d'exécuteurs et de mémoire par travailleur, répondant directement à l'échec de mémoire insuffisante lors du traitement de grands fichiers S3. Glue répartit les partitions entre ces travailleurs supplémentaires, de sorte que chacun gère une part plus petite. Cela satisfait la contrainte de l'énoncé : le travail échoue avec une erreur de mémoire, que la mise à l'échelle horizontale du calcul résout.

C

Fausse

Passez à un type d'instance plus petit dans la configuration du travail Glue.

Un type d'instance plus petit réduit la mémoire disponible, aggravant l'échec de mémoire insuffisante au lieu de le résoudre. C'est tentant car les instances plus petites réduisent les coûts, et serait correct lorsque le travail est surprovisionné et traite de petits fichiers qui n'approchent jamais les limites de mémoire.

D

Fausse

Utilisez S3 Select pour filtrer les colonnes avant la lecture dans Glue.

S3 Select filtre les lignes et les colonnes pendant la lecture S3, mais l'erreur de mémoire survient pendant que Glue traite des fichiers volumineux, elle ne traite donc pas l'étape en échec. C'est tentant car cela réduit les données scannées et les coûts, et serait correct lorsque le transfert réseau ou le volume de balayage, et non la mémoire de l'exécuteur, est le goulet d'étranglement.

Pour aller plus loin

Les travaux AWS Glue ETL s'exécutent sur un cluster d'unités de traitement de données (DPU) ; chaque DPU fournit une quantité fixe de vCPU et de mémoire. Les erreurs de mémoire lors du traitement de fichiers volumineux signifient généralement que le tas de l'exécuteur ou du pilote est épuisé, souvent parce qu'une seule partition est trop grande ou qu'une opération de mélange (shuffle) déborde excessivement. L'augmentation du nombre de DPU ajoute à la fois des exécuteurs et de la mémoire, permettant de traiter plus de partitions en parallèle et de réduire la charge par exécuteur. Réduire les partitions rendrait chaque partition plus grande et aggraverait le problème, un type d'instance plus petit réduit la mémoire, et S3 Select ne filtre que les colonnes au moment de la lecture et peut ne pas résoudre la cause racine. En pratique, un travail Glue lisant des fichiers JSON de plusieurs gigaoctets depuis S3 échoue avec OutOfMemory ; l'ingénieur augmente les DPU de 10 à 50 et le travail se termine, puis l'optimise ensuite en utilisant l'élagage des partitions et des formats colonnaires.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.