DifficileChoix multiples

Question d'entraînement DEA-C01

Une entreprise exécute un lac de données sur Amazon S3 avec AWS Glue et Amazon Athena. L'ingénieur de données remarque que les requêtes sont lentes et analysent de grandes quantités de données. Quelles sont les TROIS actions que l'ingénieur doit entreprendre pour optimiser les performances des requêtes et réduire les coûts ?

Choisissez toutes les bonnes réponses.

Bonnes réponses

  • CCompresser les fichiers de données à l'aide de gzip ou snappy.
  • DPartitionner les données par des colonnes fréquemment filtrées (par exemple, date, région).
  • EUtiliser des formats de données colonnaires tels que Parquet ou ORC.

Explication

L'option C est correcte car la compression des fichiers de données avec gzip ou snappy réduit le total des octets stockés et analysés, et Athena facture et fonctionne en fonction des données analysées, de sorte que des fichiers plus petits réduisent à la fois la latence des requêtes et le coût. L'option D est correcte car le partitionnement des données S3 par des colonnes fréquemment filtrées telles que la date ou la région active l'élagage des partitions, de sorte qu'Athena ne lit que les préfixes pertinents au lieu d'analyser l'ensemble de la table. L'option E est correcte car les formats colonnaires tels que Parquet ou ORC permettent à Athena de lire uniquement les colonnes référencées dans la requête et offrent une meilleure compression et propagation des prédicats, réduisant considérablement les données analysées par rapport aux formats basés sur des lignes comme CSV ou JSON. L'option A n'est pas appropriée car l'augmentation du délai d'expiration des requêtes dans Athena permet seulement aux requêtes de longue durée de se terminer ; cela ne réduit pas la quantité de données analysées et n'améliore pas les performances. L'option B n'est pas appropriée car l'ajout de DPU au travail Glue accélère le traitement ETL, et non les performances des requêtes Athena ou le volume de données analysées au moment de la requête.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter le délai d'expiration des requêtes dans Athena.

Augmenter le délai d'expiration des requêtes Athena permet simplement à un balayage complet de table lent de s'exécuter plus longtemps ; cela ne réduit ni les octets analysés ni le coût. C'est tentant lorsque les requêtes échouent en raison d'un délai d'expiration, mais les véritables solutions sont le partitionnement, la conversion au format colonnaire Parquet ou ORC, et l'utilisation de crawlers ou de compactage Glue.

B

Fausse

Augmenter le nombre de DPU dans le travail Glue.

L'ajout de DPU accélère le travail ETL Glue lui-même, et non les analyses de requêtes Athena sur les données S3 existantes. C'est tentant car les performances de Glue semblent liées, mais les requêtes lentes et les volumes d'analyse élevés sont traités par le partitionnement, les formats colonnaires tels que Parquet, ainsi que la compression ou le compactage.

C

Juste

Compresser les fichiers de données à l'aide de gzip ou snappy.

La compression réduit la taille des fichiers sur S3, de sorte qu'Athena analyse moins d'octets par requête, réduisant à la fois le temps d'exécution et les coûts d'analyse par téraoctet. Cela résout directement le problème d'analyse de grandes données dans l'énoncé tout en restant lisible par Glue et Athena.

D

Juste

Partitionner les données par des colonnes fréquemment filtrées (par exemple, date, région).

Le partitionnement par des colonnes fréquemment filtrées active l'élagage des partitions, de sorte qu'Athena ne lit que les préfixes S3 pertinents plutôt que l'ensemble du jeu de données. Cela réduit directement les octets analysés qui provoquent les requêtes lentes et coûteuses décrites dans l'énoncé.

E

Juste

Utiliser des formats de données colonnaires tels que Parquet ou ORC.

Les formats colonnaires stockent les données par colonne, de sorte qu'Athena ne lit que les colonnes référencées dans une requête au lieu de lignes entières. Cela réduit les octets analysés et le coût, résolvant directement les analyses importantes décrites dans l'énoncé.

Pour aller plus loin

Athena facture en fonction des données analysées, il est donc essentiel de réduire le volume analysé. Le partitionnement divise les données en dossiers (par exemple, par date) afin que les requêtes avec des clauses WHERE sur les clés de partition n'analysent que les partitions pertinentes. Les formats colonnaires comme Parquet stockent les données par colonne, permettant à Athena de lire uniquement les colonnes nécessaires et d'appliquer la propagation des prédicats. La compression réduit le stockage et les E/S. Une subtilité : le partitionnement par des colonnes à haute cardinalité peut créer trop de petits fichiers, ce qui nuit aux performances ; choisissez des colonnes avec une cardinalité modérée. Scénario réel : une requête filtrant par date et région sur un jeu de données partitionné et compressé avec Parquet peut analyser 90 % de données en moins que le CSV, réduisant ainsi les coûts et la latence.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.