MédiaMúltipla escolha

Questão de prática de PMLE

Sua equipe gerencia um pipeline de ML de produção no Google Cloud que treina um modelo de detecção de fraudes a cada 6 horas usando novos dados de transação. As etapas do pipeline são: (1) Cloud Function acionada por novos arquivos no Cloud Storage para validar dados, (2) trabalho do Dataflow para engenharia de recursos, (3) Vertex AI CustomJob para treinamento, (4) Cloud Function para implantar o modelo em um endpoint da Vertex AI após a avaliação. Você nota que o pipeline às vezes falha durante a etapa do trabalho do Dataflow com um erro: 'Workflow failed. Causes: The job encountered a system error. Please try again later.' O erro ocorre de forma esporádica e tentar novamente o pipeline manualmente geralmente é bem-sucedido. A equipe precisa de uma solução automatizada confiável. O que você deve fazer?

Escolha a melhor resposta.

Resposta correta

  • DOrquestrar o pipeline usando o Cloud Composer com políticas de nova tentativa no operador do Dataflow.

Explicação

O Cloud Composer (Apache Airflow) fornece políticas de nova tentativa nativas em seus operadores do Dataflow, permitindo novas tentativas automáticas do trabalho do Dataflow quando ele falha devido a erros transitórios do sistema. Isso aborda o padrão de falha esporádica sem intervenção manual, garantindo que o pipeline seja executado de forma confiável a cada 6 horas.

Por que cada alternativa está certa ou errada

A

Incorreta

Agendar a execução do pipeline com menos frequência para reduzir a carga no serviço Dataflow.

Reduzir a frequência deixa o erro transitório do sistema do Dataflow sem tratamento; o pipeline ainda falha sempre que ele se repete, apenas com menos frequência. A lógica de repetição, e não a cadência de agendamento, aborda falhas transitórias de serviço. Uma frequência menor é adequada para redução de custos ou trabalhos verdadeiramente limitados por carga, e não para erros intermitentes de infraestrutura que exigem recuperação automática.

B

Incorreta

Usar o Cloud Tasks para enfileirar o trabalho do Dataflow e tentar novamente em caso de falha.

O Cloud Tasks enfileira retornos de chamada HTTP, não lançamentos de trabalhos do Dataflow; ele não pode detectar uma etapa do Dataflow com falha nem retomar os estágios restantes do pipeline. O Cloud Tasks é adequado para o envio de tarefas assíncronas para endpoints HTTP. Aqui a falha ocorre dentro do fluxo de trabalho, exigindo orquestração de repetição no nível da etapa.

C

Incorreta

Aumentar o número de workers do Dataflow e usar o flexRS para lidar com erros transitórios.

Adicionar workers e o FlexRS aborda custo e capacidade para processamento em lote, e não o erro transitório do sistema em si; o trabalho ainda pode falhar sem repetição automática. O FlexRS é adequado para cargas de trabalho em lote flexíveis e não urgentes. O enunciado precisa de repetição automatizada da etapa com falha, o que o dimensionamento de workers não fornece.

D

Correta

Orquestrar o pipeline usando o Cloud Composer com políticas de nova tentativa no operador do Dataflow.

O operador do Dataflow do Cloud Composer oferece suporte a políticas de repetição configuráveis, de modo que os erros transitórios do sistema durante a etapa do Dataflow são repetidos automaticamente sem intervenção manual. Isso atende diretamente à restrição de confiabilidade: falhas esporádicas que têm sucesso na repetição tornam-se auto-reparáveis, enquanto o sequenciamento de dependências em todas as quatro etapas do pipeline é preservado.

Para se aprofundar

O Cloud Composer é um serviço gerenciado do Apache Airflow que orquestra pipelines com mecanismos de repetição integrados. Os operadores do Airflow, como o DataflowStartFlexTemplateOperator, oferecem suporte a novas tentativas (retries), atraso de nova tentativa (retry_delay) e recuo exponencial (exponential backoff). Quando um trabalho do Dataflow falha com um erro transitório do sistema, o operador pode repetir automaticamente a tarefa sem intervenção manual. Isso é mais confiável do que tentativas ad-hoc porque todo o estado do pipeline é gerenciado e as falhas são registradas e geram alertas. Um cenário realista: um pipeline de detecção de fraudes é executado a cada 6 horas; um trabalho do Dataflow ocasionalmente falha devido a problemas transitórios, mas com a política de repetição do Cloud Composer definida para 3 tentativas com um atraso de 5 minutos, o pipeline se recupera automaticamente, garantindo atualizações oportunas do modelo.

Sobre estas questões de prática

Esta é uma das questões de prática originais de PMLE da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.