MediaOpción múltiple

Pregunta de práctica de PDE

Una empresa utiliza Cloud Dataproc para ejecutar trabajos ETL de Spark nocturnos que procesan alrededor de 500 GB de datos cada noche. Actualmente, los trabajos tardan 4 horas en completarse. La empresa quiere reducir el tiempo de ejecucion a menos de 2 horas para cumplir con un nuevo SLA. El cluster esta configurado con 10 nodos de trabajo (n1-standard-4) y 1 nodo maestro (n1-standard-4). Los trabajos estan limitados por la CPU (CPU-bound) y utilizan solo la configuracion predeterminada. El cluster se elimina despues de cada trabajo y se vuelve a crear. Los datos se almacenan en Cloud Storage. La empresa esta abierta a aumentar el costo pero quiere la solucion mas rentable para cumplir con el SLA. ¿Que enfoque deben adoptar?

Elige la mejor respuesta.

Respuesta correcta

  • CAumentar el numero de nodos de trabajo a 20 y usar VMs interrumpibles para la mitad de ellos.

Explicación

Agregar mas nodos de trabajo (de 10 a 20) aumenta directamente el paralelismo para los trabajos de Spark limitados por la CPU, y el uso de VMs interrumpibles para la mitad de ellos reduce el costo sin dejar de cumplir con el SLA. Dado que el trabajo esta limitado por la CPU y utiliza la configuracion predeterminada, escalar horizontalmente con una combinacion de VMs estandar e interrumpibles es la forma mas rentable de reducir a la mitad el tiempo de ejecucion, ya que Spark puede distribuir eficientemente la carga de trabajo en mas nucleos.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Usar un bucket regional de Cloud Storage para mejorar el rendimiento de lectura.

Un bucket regional cambia la ubicacion de los datos y la redundancia, no el rendimiento de lectura; los trabajos estan limitados por la CPU, por lo que el almacenamiento no es el cuello de botella. Es tentador porque Cloud Storage a menudo limita el rendimiento de Spark, y seria correcto si los trabajos estuvieran limitados por I/O y leyeran lentamente desde un bucket de una sola region.

B

Incorrecta

Reemplazar los nodos de trabajo con instancias n1-highmem-16 para aumentar la memoria.

Un ETL de Spark limitado por la CPU no gana nada con memoria RAM adicional por nodo; n1-highmem-16 reduce el equilibrio entre vCPU y memoria y el recuento de nodos, recortando los ejecutores paralelos. Las formas de alta memoria se adaptan a cargas de trabajo intensivas en memoria, como el almacenamiento en caché o grandes barajados (shuffles), no a etapas de Spark saturadas de CPU.

C

Correcta

Aumentar el numero de nodos de trabajo a 20 y usar VMs interrumpibles para la mitad de ellos.

Duplicar los nodos de trabajo a 20 reduce directamente a la mitad el tiempo de ejecucion de Spark limitado por la CPU, satisfaciendo el SLA de menos de 2 horas. El uso de VMs interrumpibles para la mitad de los trabajadores reduce sustancialmente el costo de computacion, y Dataproc tolera su interrupcion reejecutando las tareas perdidas. Dado que el cluster es efimero y los datos residen en Cloud Storage, no se pierde ningun estado persistente.

D

Incorrecta

Cambiar el tipo de maquina a n2-standard-8 para todos los nodos.

Duplicar las vCPUs por nodo manteniendo diez trabajadores cambia el recuento de nucleos pero no la configuracion de paralelismo del cuello de botella limitado por la CPU, y las maquinas mas grandes cuestan mas por nucleo. Es tentador porque escalar verticalmente el tamano de la maquina es un remedio familiar, y seria correcto para cargas de trabajo limitadas por memoria que necesitan mas RAM por ejecutor.

Para profundizar

Los clusters de Dataproc son efimeros y escalables horizontalmente, por lo que los trabajos de Spark limitados por la CPU suelen mejorar de forma casi lineal con mas nucleos de trabajo, siempre que la ruta de lectura de Spark shuffle y Cloud Storage se mantenga al dia. Pasar de 10 a 20 trabajadores n1-standard-4 duplica la vCPU y la memoria, y las VMs interrumpibles cuestan aproximadamente entre un 60% y un 91% menos que las estandar, aunque se pueden reclamar despues de 24 horas y pueden causar reintentos de tareas. Dataproc tambien admite trabajadores secundarios, que son interrumpibles y se pueden agregar sin cambiar la capacidad de HDFS. Un ETL nocturno realista que lea 500 GB de GCS veria reducir su tiempo de ejecucion hacia las dos horas gastando mucho menos que duplicar los nodos bajo demanda o pasar a instancias highmem o n2, que agregan costo sin abordar el paralelismo de la CPU.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.