MoyenneChoix unique

Question d'entraînement PDE

Une entreprise utilise Cloud Dataproc pour exécuter des tâches ETL Spark nocturnes qui traitent environ 500 Go de données chaque nuit. Les tâches prennent actuellement 4 heures pour s'exécuter. L'entreprise souhaite réduire le temps d'exécution à moins de 2 heures pour respecter un nouveau SLA. Le cluster est configuré avec 10 nœuds de travail (n1-standard-4) et 1 nœud maître (n1-standard-4). Les tâches sont limitées par le processeur (CPU-bound) et n'utilisent que les paramètres par défaut. Le cluster est supprimé après chaque tâche puis recréé. Les données sont stockées dans Cloud Storage. L'entreprise accepte d'augmenter les coûts mais souhaite la solution la plus rentable pour respecter le SLA. Quelle approche doit-elle adopter ?

Choisissez la meilleure réponse.

Bonne réponse

  • CAugmenter le nombre de nœuds de travail à 20 et utiliser des machines virtuelles préemptives pour la moitié d'entre eux.

Explication

L'ajout de nœuds de travail supplémentaires (de 10 à 20) augmente directement le parallélisme pour les tâches Spark limitées par le processeur, et l'utilisation de machines virtuelles préemptives pour la moitié d'entre eux réduit les coûts tout en respectant le SLA. Étant donné que la tâche est limitée par le processeur et utilise les paramètres par défaut, la mise à l'échelle horizontale avec un mélange de machines virtuelles standard et préemptives est le moyen le plus rentable de diviser par deux le temps d'exécution, car Spark peut répartir efficacement la charge de travail sur un plus grand nombre de cœurs.

Pourquoi chaque option est juste ou fausse

A

Fausse

Utiliser un bucket Cloud Storage régional pour améliorer le débit de lecture.

Un bucket régional modifie l'emplacement des données et la redondance, mais pas le débit de lecture ; les tâches sont limitées par le processeur, le stockage n'est donc pas le goulot d'étranglement. Cette option est séduisante car Cloud Storage limite souvent les performances de Spark, et serait correcte si les tâches étaient limitées par les entrées/sorties (I/O-bound) et lisaient lentement à partir d'un bucket mono-région.

B

Fausse

Remplacer les nœuds de travail par des instances n1-highmem-16 pour augmenter la mémoire.

Un traitement ETL Spark limité par le processeur ne tire aucun avantage d'une mémoire vive supplémentaire par nœud ; n1-highmem-16 réduit l'équilibre entre les vCPU et la mémoire ainsi que le nombre de nœuds, ce qui réduit les exécuteurs parallèles. Les configurations à haute mémoire conviennent aux charges de travail gourmandes en mémoire telles que la mise en cache ou les grands brassages (shuffles), et non aux étapes Spark saturées par le processeur.

C

Juste

Augmenter le nombre de nœuds de travail à 20 et utiliser des machines virtuelles préemptives pour la moitié d'entre eux.

Doubler le nombre de nœuds de travail à 20 réduit directement de moitié le temps d'exécution de Spark limité par le processeur, satisfaisant ainsi le SLA de moins de 2 heures. L'utilisation de machines virtuelles préemptives pour la moitié des travailleurs réduit considérablement les coûts de calcul, et Dataproc tolère leur préemption en réexécutant les tâches perdues. Le cluster étant éphémère et les données résidant dans Cloud Storage, aucun état persistant n'est perdu.

D

Fausse

Changer le type de machine pour n2-standard-8 pour tous les nœuds.

Doubler les vCPU par nœud tout en conservant dix travailleurs modifie le nombre de cœurs mais pas la configuration du parallélisme du goulot d'étranglement lié au processeur, et les nœuds plus grands coûtent plus cher par cœur. Cette option est séduisante car l'augmentation de la taille des machines est un remède familier, et serait correcte pour les charges de travail limitées par la mémoire nécessitant plus de RAM par exécuteur.

Pour aller plus loin

Les clusters Dataproc sont éphémères et évolutifs horizontalement, de sorte que les tâches Spark limitées par le processeur s'améliorent généralement de manière presque linéaire avec un plus grand nombre de cœurs de travail, à condition que le trafic de brassage (shuffle) et le chemin de lecture Cloud Storage suivent. Passer de 10 à 20 nœuds de travail n1-standard-4 double les vCPU et la mémoire, et les machines virtuelles préemptives coûtent environ 60 à 91 % de moins que les machines standard, bien qu'elles puissent être récupérées après 24 heures et entraîner de nouvelles tentatives de tâches. Dataproc prend également en charge les nœuds de travail secondaires, qui sont préemptifs et peuvent être ajoutés sans modifier la capacité HDFS. Un traitement ETL nocturne réaliste lisant 500 Go depuis GCS verrait son temps d'exécution chuter vers deux heures tout en coûtant beaucoup moins cher que de doubler les nœuds à la demande ou de passer à des instances highmem ou n2, qui augmentent les coûts sans résoudre le problème du parallélisme du processeur.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.