Resposta correta
- CAumentar o número de nós de trabalhador para 20 e usar VMs preemptíveis para metade deles.
Explicação
Adicionar mais nós de trabalhador (de 10 para 20) aumenta diretamente o paralelismo para trabalhos do Spark limitados por CPU, e o uso de VMs preemptíveis para metade deles reduz o custo, mantendo o cumprimento do SLA. Como o trabalho é limitado por CPU e usa configurações padrão, o dimensionamento horizontal com uma mistura de VMs padrão e preemptíveis é a maneira mais econômica de reduzir o tempo de execução pela metade, pois o Spark pode distribuir eficientemente a carga de trabalho em mais núcleos.
Para se aprofundar
Os clusters do Dataproc são efêmeros e escaláveis horizontalmente, portanto, os trabalhos do Spark limitados por CPU geralmente melhoram de forma quase linear com mais núcleos de trabalhador, desde que o embaralhamento (shuffle) e o caminho de leitura do Cloud Storage acompanhem. Passar de 10 para 20 trabalhadores n1-standard-4 dobra a vCPU e a memória, e as VMs preemptíveis custam entre 60% e 91% a menos que as padrão, embora possam ser recuperadas após 24 horas e possam causar novas tentativas de tarefas. O Dataproc também oferece suporte a trabalhadores secundários, que são preemptíveis e podem ser adicionados sem alterar a capacidade do HDFS. Um ETL noturno realista que lê 500 GB do GCS veria o tempo de execução cair em direção a duas horas, gastando muito menos do que dobrar nós sob demanda ou migrar para instâncias highmem ou n2, que adicionam custo sem resolver o paralelismo de CPU.
Sobre estas questões de prática
Esta é uma das questões de prática originais de PDE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.