Bonne réponse
- CAugmenter le nombre de nœuds de travail à 20 et utiliser des machines virtuelles préemptives pour la moitié d'entre eux.
Explication
L'ajout de nœuds de travail supplémentaires (de 10 à 20) augmente directement le parallélisme pour les tâches Spark limitées par le processeur, et l'utilisation de machines virtuelles préemptives pour la moitié d'entre eux réduit les coûts tout en respectant le SLA. Étant donné que la tâche est limitée par le processeur et utilise les paramètres par défaut, la mise à l'échelle horizontale avec un mélange de machines virtuelles standard et préemptives est le moyen le plus rentable de diviser par deux le temps d'exécution, car Spark peut répartir efficacement la charge de travail sur un plus grand nombre de cœurs.
Pour aller plus loin
Les clusters Dataproc sont éphémères et évolutifs horizontalement, de sorte que les tâches Spark limitées par le processeur s'améliorent généralement de manière presque linéaire avec un plus grand nombre de cœurs de travail, à condition que le trafic de brassage (shuffle) et le chemin de lecture Cloud Storage suivent. Passer de 10 à 20 nœuds de travail n1-standard-4 double les vCPU et la mémoire, et les machines virtuelles préemptives coûtent environ 60 à 91 % de moins que les machines standard, bien qu'elles puissent être récupérées après 24 heures et entraîner de nouvelles tentatives de tâches. Dataproc prend également en charge les nœuds de travail secondaires, qui sont préemptifs et peuvent être ajoutés sans modifier la capacité HDFS. Un traitement ETL nocturne réaliste lisant 500 Go depuis GCS verrait son temps d'exécution chuter vers deux heures tout en coûtant beaucoup moins cher que de doubler les nœuds à la demande ou de passer à des instances highmem ou n2, qui augmentent les coûts sans résoudre le problème du parallélisme du processeur.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.