Respuesta correcta
- CAumentar el numero de nodos de trabajo a 20 y usar VMs interrumpibles para la mitad de ellos.
Explicación
Agregar mas nodos de trabajo (de 10 a 20) aumenta directamente el paralelismo para los trabajos de Spark limitados por la CPU, y el uso de VMs interrumpibles para la mitad de ellos reduce el costo sin dejar de cumplir con el SLA. Dado que el trabajo esta limitado por la CPU y utiliza la configuracion predeterminada, escalar horizontalmente con una combinacion de VMs estandar e interrumpibles es la forma mas rentable de reducir a la mitad el tiempo de ejecucion, ya que Spark puede distribuir eficientemente la carga de trabajo en mas nucleos.
Para profundizar
Los clusters de Dataproc son efimeros y escalables horizontalmente, por lo que los trabajos de Spark limitados por la CPU suelen mejorar de forma casi lineal con mas nucleos de trabajo, siempre que la ruta de lectura de Spark shuffle y Cloud Storage se mantenga al dia. Pasar de 10 a 20 trabajadores n1-standard-4 duplica la vCPU y la memoria, y las VMs interrumpibles cuestan aproximadamente entre un 60% y un 91% menos que las estandar, aunque se pueden reclamar despues de 24 horas y pueden causar reintentos de tareas. Dataproc tambien admite trabajadores secundarios, que son interrumpibles y se pueden agregar sin cambiar la capacidad de HDFS. Un ETL nocturno realista que lea 500 GB de GCS veria reducir su tiempo de ejecucion hacia las dos horas gastando mucho menos que duplicar los nodos bajo demanda o pasar a instancias highmem o n2, que agregan costo sin abordar el paralelismo de la CPU.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.