MédiaMúltipla escolha

Questão de prática de MLA-C01

Um engenheiro de machine learning observa que o desempenho do modelo em um endpoint do SageMaker se degradou na última semana. Os rótulos de ground truth (verdade de campo) estão disponíveis com um atraso de 2 dias. O engenheiro deseja acionar automaticamente um pipeline de retreinamento quando a qualidade da previsão cair abaixo de um limite aceitável. Qual abordagem é a mais adequada?

Escolha a melhor resposta.

Resposta correta

  • AUsar o SageMaker Model Monitor - Model Quality Monitor com ground truth, criar um alarme do CloudWatch na métrica e acionar uma função do AWS Lambda para iniciar o retreinamento

Explicação

O Model Quality Monitor do SageMaker Model Monitor foi projetado especificamente para comparar previsões de modelos com rótulos de ground truth (disponíveis com um atraso de 2 dias) e rastrear métricas como acurácia (accuracy), precisão, revocação (recall) ou pontuação F1. Você pode configurar um alarme do CloudWatch em uma métrica como 'accuracy' caindo abaixo de um limite, o que aciona uma função do AWS Lambda para iniciar o pipeline de retreinamento. Isso automatiza a detecção da degradação da qualidade da previsão e a resposta de retreinamento sem intervenção manual.

Por que cada alternativa está certa ou errada

A

Correta

Usar o SageMaker Model Monitor - Model Quality Monitor com ground truth, criar um alarme do CloudWatch na métrica e acionar uma função do AWS Lambda para iniciar o retreinamento

O Model Quality Monitor ingere o ground truth atrasado do S3, calcula métricas de qualidade e as publica no CloudWatch. Um alarme no limite invoca o Lambda, que inicia o pipeline de retreinamento, automatizando totalmente a detecção e a remediação sem intervenção manual.

B

Incorreta

Avaliar manualmente o modelo semanalmente e retreiná-lo conforme necessário

A avaliação semanal manual não consegue reagir dentro do atraso de 2 dias do rótulo, portanto a degradação passa despercebida até a próxima revisão. É tentador porque a revisão humana atende a modelos de baixo volume em que o custo da automação supera o benefício, mas o enunciado exige retreinamento automático acionado por limite.

C

Incorreta

Usar o SageMaker Model Monitor - Data Quality Monitor para detectar desvios e, em seguida, acionar o retreinamento

O Data Quality Monitor compara distribuições de características, não a precisão da previsão em relação aos rótulos, portanto não pode detectar a queda de qualidade descrita. É a escolha certa quando os dados de entrada se desviam das baselines de treinamento e os rótulos não estão disponíveis.

D

Incorreta

Usar o SageMaker Clarify para monitorar o desvio de viés e acionar o retreinamento

O SageMaker Clarify detecta viés e desvio de atribuição de características, não a qualidade da previsão em relação aos rótulos de ground truth atrasados. É tentador porque o monitoramento de desvios soa como monitoramento de desempenho, mas o Clarify estaria correto para auditorias de justiça ou explicabilidade, e não para degradação de precisão.

Para se aprofundar

O Model Quality Monitor do SageMaker Model Monitor compara previsões com rótulos de ground truth para calcular métricas como acurácia, precisão e revocação. Os rótulos de ground truth são ingeridos com atraso, de modo que o monitor pode ser agendado para rodar após a chegada dos rótulos. Quando uma métrica ultrapassa um limite, ela emite um sinal para o CloudWatch, o que pode acionar um alarme. O alarme pode invocar uma função do AWS Lambda que inicia um pipeline de retreinamento, como uma execução do SageMaker Pipelines. Isso automatiza o retreinamento com base na qualidade real da previsão, não apenas na desviação de dados (data drift). O Data Quality Monitor detecta desvios nos dados de entrada, que podem não se correlacionar com a degradação de desempenho. O Clarify monitora o viés, não a qualidade geral. Portanto, o Model Quality Monitor com ground truth é a escolha apropriada para acionar o retreinamento quando a qualidade cai.

Sobre estas questões de prática

Esta é uma das questões de prática originais de MLA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.