MédiaVárias respostas

Questão de prática de MLA-C01

Quais TRÊS componentes são necessários para configurar o retreinamento automatizado de modelos em resposta à degradação de desempenho usando o Amazon SageMaker? (Selecione TRÊS.)

Escolha todas as respostas corretas.

Respostas corretas

  • BUm alarme do CloudWatch que dispara quando uma métrica de qualidade cai abaixo de um limite.
  • CUm cronograma do SageMaker Model Monitor para capturar dados de inferência e calcular métricas de qualidade.
  • DUma função do AWS Lambda que inicia um job de treinamento do SageMaker ou execução de pipeline.

Explicação

A opção B está correta porque um alarme do CloudWatch monitorando uma métrica de qualidade do modelo (por exemplo, MAE, F1) e disparando quando ultrapassa um limite é o mecanismo de detecção que sinaliza a degradação do desempenho e pode invocar uma ação. A opção C está correta porque o SageMaker Model Monitor (especificamente um cronograma de monitoramento com uma linha de base de qualidade) captura dados de inferência do endpoint e calcula as métricas de qualidade que o CloudWatch então avalia. A opção D está correta porque uma função do AWS Lambda é a cola de automação que, quando invocada pelo alarme do CloudWatch (via SNS ou EventBridge), chama a API do SageMaker para iniciar um job de treinamento ou execução de pipeline para retreinamento. A opção A não é necessária porque a aprovação manual via assinatura de e-mail do SNS é uma etapa humana, não um componente do retreinamento automatizado. A opção E não é necessária porque uma variante de produção com canary traffic shift é uma estratégia de deployment para liberar um novo modelo, não um pré-requisito para acionar o retreinamento.

Por que cada alternativa está certa ou errada

A

Incorreta

Um tópico do Amazon SNS com uma assinatura para enviar um e-mail de aprovação manual.

Um tópico SNS com e-mail de aprovação manual insere um bloqueio humano; o retreinamento automatizado deve ser acionado programaticamente a partir de um alarme de degradação sem esperar por uma pessoa. É tentador porque etapas de aprovação atendem a mudanças de produção de alto risco, e seria correto onde a governança exige aprovação antes que um modelo seja promovido.

B

Correta

Um alarme do CloudWatch que dispara quando uma métrica de qualidade cai abaixo de um limite.

Um alarme do CloudWatch fornece o gatilho de degradação que o cenário exige: ele avalia continuamente uma métrica de qualidade do modelo em relação ao seu limite e dispara quando o desempenho cai. Sem essa fonte de evento, o retreinamento não pode ser automatizado em resposta à degradação, apenas agendado. Ele satisfaz o requisito de detectar o declínio de desempenho e iniciar o pipeline.

C

Correta

Um cronograma do SageMaker Model Monitor para capturar dados de inferência e calcular métricas de qualidade.

O cronograma do Model Monitor captura solicitações de inferência em tempo real e calcula métricas de qualidade em relação a uma linha de base, produzindo o sinal de degradação. Essa avaliação contínua é o que detecta o desvio e alimenta o alarme, tornando-a essencial para o retreinamento automatizado.

D

Correta

Uma função do AWS Lambda que inicia um job de treinamento do SageMaker ou execução de pipeline.

Uma função do AWS Lambda fornece a camada de computação que traduz um alerta de degradação em ação, invocando um job de treinamento do SageMaker autônomo ou uma execução completa de pipeline. Isso satisfaz a restrição de automação: o retreinamento é acionado sem intervenção manual, conectando alarmes do CloudWatch às APIs de treinamento do SageMaker.

E

Incorreta

Uma variante de produção com uma configuração de canary traffic shift.

Um canary traffic shift governa como uma nova versão do modelo recebe tráfego de inferência; ele não fornece o monitoramento, o limite ou o gatilho de retreinamento que a detecção de degradação exige. É tentador porque canaries fazem parte do deployment seguro, e seria correto ao validar uma nova versão do modelo contra tráfego real antes do lançamento completo.

Para se aprofundar

O retreinamento automatizado em caso de degradação geralmente encadeia três partes. Um cronograma do SageMaker Model Monitor é anexado a um endpoint, captura solicitações e respostas de inferência para o S3 e calcula métricas, como uma métrica de qualidade, comparando previsões com rótulos de verdade fundamental (ground truth) mesclados a partir de uma linha de base. Um alarme do CloudWatch observa essa métrica e dispara quando ela ultrapassa um limite. A ação do alarme invoca uma função Lambda (ou uma regra do EventBridge) que inicia um job de treinamento do SageMaker ou uma execução de SageMaker Pipeline para retreinar e registrar um novo modelo. Um tópico de aprovação manual do SNS e uma variante de canary traffic-shift são controles de deployment opcionais, não necessários para o gatilho de retreinamento em si. Esse padrão é importante quando o desvio do modelo (model drift) deve ser corrigido sem a necessidade de verificação humana.

Sobre estas questões de prática

Esta é uma das questões de prática originais de MLA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.