FácilMúltipla escolha

Questão de prática de AI-900

Um cientista de dados treina um modelo de classificação binária para distinguir entre imagens de gatos e cachorros. No conjunto de teste, o modelo atinge 98% de accuracy, mas uma inspeção mais profunda revela que o conjunto de teste contém 95% de gatos e 5% de cachorros, e o modelo prevê 'cat' para absolutamente todas as imagens. Qual métrica o cientista de dados deve priorizar para obter uma avaliação mais realista do desempenho do modelo neste conjunto de dados desbalanceado?

Escolha a melhor resposta.

Resposta correta

  • CF1-score

Explicação

O F1-score é a média harmônica de precision e recall, fornecendo uma única métrica que equilibra ambas quando as classes estão desbalanceadas. Nesse cenário, a accuracy é enganosamente alta (98%) porque o modelo sempre prevê a classe majoritária (cat), atingindo alta accuracy sem realmente aprender a distinguir gatos de cachorros. O F1-score penaliza o modelo por seu baixo recall na classe minoritária (dogs), fornecendo uma avaliação mais realista de seu desempenho.

Por que cada alternativa está certa ou errada

A

Incorreta

Precision

A precision mede a proporção de identificações positivas que estavam realmente corretas. Embora útil, ela não considera falsos negativos, portanto ainda pode ser alta se o modelo raramente prevê a classe minoritária, como neste cenário.

B

Incorreta

Recall

O recall mede a proporção de positivos reais que foram identificados corretamente. Nesse caso, o modelo tem recall zero para a classe dog porque nunca prevê 'dog'; logo, o recall sozinho seria 0 para dogs e 100% para cats, oferecendo uma visão incompleta.

C

Correta

F1-score

O F1-score combina precision e recall em uma única métrica que penaliza valores extremos. Para este modelo, o F1-score da classe minoritária (dogs) seria muito baixo, revelando o desempenho ruim que a accuracy oculta.

D

Incorreta

Accuracy

A accuracy é a proporção de previsões corretas em relação ao total de previsões. Neste conjunto de dados altamente desbalanceado, o modelo atinge 95% de accuracy apenas adivinhando sempre a classe majoritária, o que não reflete sua incapacidade de detectar dogs.

Para se aprofundar

Com uma divisão de 95/5 e um modelo que sempre prevê 'cat', a accuracy chega a 95% enquanto o recall para dogs é zero. Portanto, o F1-score, que é a média harmônica de precision e recall, expõe a falha ao convergir para zero quando qualquer um dos componentes é ruim. A precision isoladamente também pode induzir ao erro porque o modelo nunca prevê a classe minoritária, tornando suas previsões positivas corretas por trivialidade. Uma sutileza que vale a pena conhecer é que o F1 pondera precision e recall igualmente; portanto, se falsos negativos forem mais custosos do que falsos positivos, o recall ou um F1 ponderado por beta pode ser preferido. Na prática, um modelo de triagem médica baseado em dados de doenças raras precisa desse tipo de métrica para evitar a disponibilização de um classificador que nunca sinalize a condição para a qual foi construído.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.