DifícilMúltipla escolha

Questão de prática de AI-900

Qual é a diferença entre 'precision' e 'recall' como métricas de avaliação de modelos?

Escolha a melhor resposta.

Resposta correta

  • BPrecision mede a correção das previsões positivas; recall mede a cobertura dos positivos reais

Explicação

A 'precision' mede a proporção de identificações positivas que foram realmente corretas (verdadeiros positivos / (verdadeiros positivos + falsos positivos)), enquanto o 'recall' mede a proporção de positivos reais que foram identificados corretamente (verdadeiros positivos / (verdadeiros positivos + falsos negativos)). No Azure Machine Learning, essas métricas são fundamentais para avaliar modelos de classificação, especialmente ao lidar com conjuntos de dados desbalanceados, pois fornecem percepções distintas sobre o desempenho do modelo.

Por que cada alternativa está certa ou errada

A

Incorreta

Precision é a velocidade de previsão; recall é o uso de memória do modelo

Precision e recall são proporções de qualidade de classificação da matriz de confusão, não medidas de latência ou memória. É tentador porque 'precision' e 'recall' parecem termos de desempenho e capacidade, mas eles quantificam a correção da previsão, não a velocidade computacional ou o uso de recursos.

B

Correta

Precision mede a correção das previsões positivas; recall mede a cobertura dos positivos reais

Precision é a proporção de positivos previstos que são verdadeiramente positivos, medindo a correção da previsão. Recall é a proporção de positivos reais identificados corretamente, medindo a cobertura. Eles diferem ao longo do eixo dos conjuntos positivos previstos versus reais.

C

Incorreta

Precision e recall são a mesma métrica, apenas calculadas em conjuntos de dados diferentes

Precision e recall são proporções distintas: precision são os verdadeiros positivos sobre os positivos previstos, recall são os verdadeiros positivos sobre os positivos reais, ambos no mesmo conjunto de dados. É tentador porque ambos derivam das mesmas células da matriz de confusão, de modo que podem parecer intercambiáveis.

D

Incorreta

Recall é maior que precision sempre que o modelo tiver visto mais dados de treinamento

Recall e precision são calculados a partir da mesma matriz de confusão em dados idênticos; o tamanho do conjunto de treinamento não determina a ordem deles. É tentador porque mais dados frequentemente melhoram ambas as métricas, mas seus valores relativos dependem do limite de classificação e do balanceamento de classes.

Para se aprofundar

A 'precision' e o 'recall' são calculados a partir da matriz de confusão. A 'precision' é o número de verdadeiros positivos dividido pelos verdadeiros positivos mais os falsos positivos: de tudo o que o modelo rotulou como positivo, quanto era realmente positivo. O 'recall', ou sensibilidade, é o número de verdadeiros positivos dividido pelos verdadeiros positivos mais os falsos negativos: de tudo o que era realmente positivo, quanto o modelo capturou. Eles se compensam por meio do limite de decisão; abaixar o limite geralmente aumenta o 'recall' e diminui a 'precision'. Uma sutileza é que um modelo pode ter um 'recall' perfeito prevendo positivo para tudo, mas a 'precision' então desmorona. Em um cenário de detecção de fraude, um 'recall' alto limita a fraude perdida, mas inunda os analistas com alarmes falsos, enquanto uma 'precision' alta reduz a fadiga de alertas, mas deixa a fraude passar. A pontuação F1 equilibra os dois e o ponto operacional correto depende do custo relativo de cada tipo de erro.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.