MédiaMúltipla escolha

Questão de prática de AI-900

Um cientista de dados está treinando um modelo para prever se um cliente comprará um produto (Sim/Não). O conjunto de dados contém 90% de 'Não' e 10% de 'Sim'. Após o treinamento, o modelo atinge 90% de acurácia (accuracy). Qual métrica de avaliação seria mais informativa para avaliar o desempenho do modelo na classe minoritária?

Escolha a melhor resposta.

Resposta correta

  • BF1 score

Explicação

Neste conjunto de dados desbalanceado (90% 'Não', 10% 'Sim'), um modelo que sempre prevê 'Não' atingiria 90% de acurácia, tornando a acurácia uma métrica enganosa. O F1 score é a média harmônica de precisão e revocação (recall), projetada especificamente para avaliar o desempenho de um modelo na classe minoritária, equilibrando falsos positivos e falsos negativos. É a métrica mais informativa aqui porque mede diretamente quão bem o modelo identifica as compras raras 'Sim' sem ser inflacionado pela classe majoritária.

Por que cada alternativa está certa ou errada

A

Incorreta

Mean Absolute Error (MAE)

Mean Absolute Error (MAE) é uma métrica de regressão que calcula a diferença absoluta média entre valores contínuos previstos e reais. Não é apropriada para classificação binária porque a variável alvo é categórica (por exemplo, 0 ou 1 para presença ou ausência da condição), e não uma magnitude numérica. O uso do MAE trataria as probabilidades previstas como se fossem erros contínuos, mas não consegue capturar se o modelo atribui corretamente o rótulo de classe verdadeiro, nem reflete o equilíbrio de precisão e revocação necessário para classes desbalanceadas. Portanto, o MAE é irrelevante para avaliar um classificador.

B

Correta

F1 score

F1 score é a média harmônica de precision e recall, dando igual peso a ambas as métricas. É particularmente valioso quando o conjunto de dados é desbalanceado porque penaliza diretamente falsos positivos e falsos negativos a partir da perspectiva da classe minoritária. Ao contrário da acurácia, o F1 não permite que o viés da classe majoritária domine a avaliação, pois considera apenas a precisão e a revocação da classe positiva. Portanto, ele fornece um único número interpretável que reflete quão bem o modelo detecta o resultado raro (positivo) enquanto mantém a confiabilidade de suas previsões positivas.

C

Incorreta

Area Under the Curve (AUC)

Area Under the Curve (AUC) resume a capacidade discriminativa do modelo em todos os limites de classificação, medindo a probabilidade de que uma instância positiva escolhida aleatoriamente seja classificada acima de uma instância negativa escolhida aleatoriamente. No entanto, a AUC não informa como o modelo se comporta no limite de decisão específico usado para previsões reais, e pode parecer alta mesmo quando a revocação ou a precisão da classe minoritária são ruins nesse limite escolhido. Para conjuntos de dados desbalanceados, o F1 é mais diretamente interpretável porque reflete o trade-off exato de precisão-revocação no ponto de operação implantado, enquanto a AUC é um agregado independente de limite.

D

Incorreta

R-squared

R-squared (coeficiente de determinação) mede a proporção da variância em um alvo contínuo explicada por um modelo de regressão, comparando a variância residual com a variância total da variável dependente. Na classificação binária, o resultado não é uma variável contínua, portanto o conceito de 'variância explicada' não faz sentido; um resultado com apenas duas categorias não pode ter uma estrutura de erro gaussiana. Além disso, o R-squared pode ser negativo ou artificialmente baixo quando aplicado às saídas probabilísticas de um classificador, tornando-o uma métrica inválida e enganosa para esta tarefa preditiva.

Para se aprofundar

A avaliação de modelos para classificação desbalanceada é sutil porque a métrica de acurácia padrão pode ser enganosamente alta quando a classe minoritária é rara; um modelo que sempre prevê a classe majoritária pode atingir alta acurácia enquanto perde completamente o evento de interesse. Precisão (precision) e revocação (recall) oferecem uma visão mais refinada: precision mede quantos positivos previstos são realmente positivos, enquanto recall mede quantos positivos reais são capturados pelo modelo. F1 score equilibra essas duas medidas usando a média harmônica, que penaliza fortemente valores baixos de qualquer uma delas — por exemplo, se precision ou recall for 0, o F1 se torna 0, mesmo que a outra métrica seja perfeita. Uma sutileza fundamental é que o F1 depende do limite (threshold): ele muda com o ponto de corte de probabilidade usado para converter pontuações do modelo em rótulos de classe, e os profissionais devem ajustar esse limite para corresponder ao custo de negócio de falsos positivos versus falsos negativos. Em contraste, a AUC (ou PR-AUC) resume o desempenho em todos os limites, o que pode ser útil para a seleção de modelos, mas o F1 fornece a métrica operacional que reflete previsões do mundo real em um limite escolhido. Um equívoco comum é que o F1 é universalmente superior; no entanto, em conjuntos de dados extremamente distorcidos, as curvas de precisão-revocação costumam ser mais informativas do que as curvas ROC, porque a taxa de verdadeiro negativo da ROC pode dominar devido ao grande número de exemplos negativos.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.