MédiaMúltipla escolha

Questão de prática de AI-900

Um cientista de dados treina um modelo de classificação binária para detectar transações fraudulentas. O conjunto de dados contém 99% de transações legítimas (classe negativa) e 1% de transações fraudulentas (classe positiva). O modelo prevê 'legítima' para cada transação no conjunto de teste e atinge 99% de precisão. Qual métrica revelaria melhor que o modelo não está conseguindo identificar nenhuma transação fraudulenta?

Escolha a melhor resposta.

Resposta correta

  • CRecall

Explicação

O recall (também conhecido como sensibilidade ou taxa de verdadeiros positivos) mede a proporção de casos positivos reais (transações fraudulentas) que o modelo identifica corretamente. Com 99% de precisão, mas zero verdadeiros positivos, o recall é 0%, o que revela imediatamente a falha completa do modelo em detectar fraudes. No Azure Machine Learning, o painel de métricas de classificação mostraria recall = 0.0 para a classe positiva, destacando esse problema apesar da alta precisão.

Por que cada alternativa está certa ou errada

A

Incorreta

Precisão (Accuracy)

A precisão relata 99% porque os 99% da maioria legítima são classificados corretamente, mascarando a detecção zero de fraude. É tentador, já que a precisão é a métrica padrão, mas sob desequilíbrio de classe, ela reflete o domínio da classe majoritária em vez do desempenho na classe positiva.

B

Incorreta

Precisão (Precision)

A precisão mede a proporção de fraudes previstas que são verdadeiramente fraudulentas; prever zero positivos a deixa indefinida, e ela ignora completamente as fraudes perdidas. É tentador porque as equipes de fraude se preocupam com alarmes falsos, mas o recall expõe as transações fraudulentas não detectadas.

C

Correta

Recall

O recall mede a proporção de transações fraudulentas reais identificadas corretamente. Com uma classe positiva de 1%, prever todos os negativos resulta em 99% de precisão, mas zero de recall, expondo a falha total do modelo em detectar fraudes. Isso satisfaz a necessidade de uma métrica sensível ao desequilíbrio de classe.

D

Incorreta

F1-score

O F1-score combina precisão e recall, portanto, com zero verdadeiros positivos, ambos são indefinidos e a pontuação cai para zero, mas obscurece qual falha ocorreu. É tentador como uma medida equilibrada, mas o recall sozinho expõe diretamente os casos fraudulentos perdidos.

Para se aprofundar

Com um desequilíbrio de classe de 99:1, um preditor trivial da classe majoritária atinge 99% de precisão, enquanto seu recall para a classe positiva é exatamente zero, porque o recall é TP/(TP+FN) e não há verdadeiros positivos. A precisão é indefinida ou sem sentido aqui, já que o modelo nunca prevê positivo, e o F1-score também cai para zero, mas o recall é a métrica que expõe diretamente as fraudes perdidas. A precisão é dominada pelos abundantes negativos e esconde a falha. Na prática, as equipes de fraude monitoram o recall juntamente com a AUC de precisão-recall e podem reamostrar, aplicar pesos de classe ou ajustar o limite de decisão para que o modelo realmente sinalize os raros casos positivos que importam financeiramente.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.