MédiaMúltipla escolha

Questão de prática de PDE

Uma empresa usa o Cloud Dataproc para executar trabalhos noturnos do Spark ETL que processam cerca de 500 GB de dados todas as noites. Os trabalhos atualmente levam 4 horas para serem concluídos. A empresa deseja reduzir o tempo de execução para menos de 2 horas para cumprir um novo SLA. O cluster é configurado com 10 nós de trabalhador (n1-standard-4) e 1 nó mestre (n1-standard-4). Os trabalhos são limitados por CPU (CPU-bound) e usam apenas configurações padrão. O cluster é excluído após cada trabalho e recriado. Os dados são armazenados no Cloud Storage. A empresa está aberta a aumentar os custos, mas quer a solução mais econômica para cumprir o SLA. Qual abordagem eles devem adotar?

Escolha a melhor resposta.

Resposta correta

  • CAumentar o número de nós de trabalhador para 20 e usar VMs preemptíveis para metade deles.

Explicação

Adicionar mais nós de trabalhador (de 10 para 20) aumenta diretamente o paralelismo para trabalhos do Spark limitados por CPU, e o uso de VMs preemptíveis para metade deles reduz o custo, mantendo o cumprimento do SLA. Como o trabalho é limitado por CPU e usa configurações padrão, o dimensionamento horizontal com uma mistura de VMs padrão e preemptíveis é a maneira mais econômica de reduzir o tempo de execução pela metade, pois o Spark pode distribuir eficientemente a carga de trabalho em mais núcleos.

Por que cada alternativa está certa ou errada

A

Incorreta

Usar um bucket regional do Cloud Storage para melhorar a taxa de transferência de leitura.

Um bucket regional altera a localização dos dados e a redundância, não a taxa de transferência de leitura; os trabalhos são limitados por CPU, portanto o armazenamento não é o gargalo. É tentador porque o Cloud Storage geralmente limita o desempenho do Spark, e estaria correto se os trabalhos fossem limitados por E/S (I/O-bound) e fizessem leituras lentas a partir de um bucket de região única.

B

Incorreta

Substituir os nós de trabalhador por instâncias n1-highmem-16 para aumentar a memória.

O Spark ETL limitado por CPU não ganha nada com memória RAM extra por nó; n1-highmem-16 reduz o equilíbrio entre vCPU e memória e a contagem de nós, cortando executores paralelos. Formatos de alta memória atendem a cargas de trabalho intensivas em memória, como cache ou grandes embaralhamentos, e não estágios do Spark saturados por CPU.

C

Correta

Aumentar o número de nós de trabalhador para 20 e usar VMs preemptíveis para metade deles.

Dobrar os nós de trabalhador para 20 reduz diretamente pela metade o tempo de execução do Spark limitado por CPU, satisfazendo o SLA de menos de 2 horas. Usar VMs preemptíveis para metade dos trabalhadores reduz substancialmente o custo de computação, e o Dataproc tolera sua preempção executando novamente as tarefas perdidas. Como o cluster é efêmero e os dados residem no Cloud Storage, nenhum estado persistente é perdido.

D

Incorreta

Alterar o tipo de máquina para n2-standard-8 para todos os nós.

Dobrar as vCPUs por nó mantendo dez trabalhadores altera a contagem de núcleos, mas não a configuração de paralelismo do gargalo limitado por CPU, e nós maiores custam mais por núcleo. É tentador porque dimensionar o tamanho da máquina é um remédio familiar, e estaria correto para cargas de trabalho limitadas por memória que precisam de mais RAM por executor.

Para se aprofundar

Os clusters do Dataproc são efêmeros e escaláveis horizontalmente, portanto, os trabalhos do Spark limitados por CPU geralmente melhoram de forma quase linear com mais núcleos de trabalhador, desde que o embaralhamento (shuffle) e o caminho de leitura do Cloud Storage acompanhem. Passar de 10 para 20 trabalhadores n1-standard-4 dobra a vCPU e a memória, e as VMs preemptíveis custam entre 60% e 91% a menos que as padrão, embora possam ser recuperadas após 24 horas e possam causar novas tentativas de tarefas. O Dataproc também oferece suporte a trabalhadores secundários, que são preemptíveis e podem ser adicionados sem alterar a capacidade do HDFS. Um ETL noturno realista que lê 500 GB do GCS veria o tempo de execução cair em direção a duas horas, gastando muito menos do que dobrar nós sob demanda ou migrar para instâncias highmem ou n2, que adicionam custo sem resolver o paralelismo de CPU.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.