FácilOpción múltiple

Pregunta de práctica de AI-900

Un científico de datos entrena un modelo de clasificación binaria para distinguir entre imágenes de gatos y perros. En el conjunto de prueba, el modelo logra una precisión del 98%, pero una inspección más profunda revela que el conjunto de prueba contiene 95% de gatos y 5% de perros, y el modelo predice 'cat' para cada una de las imágenes. ¿Qué métrica debe priorizar el científico de datos para obtener una evaluación más realista del rendimiento del modelo en este conjunto de datos desequilibrado?

Elige la mejor respuesta.

Respuesta correcta

  • CF1-score

Explicación

La puntuación F1 es la media armónica de la precisión y la recuperación, proporcionando una métrica única que equilibra ambas cuando las clases están desequilibradas. En este escenario, la precisión es engañosamente alta (98%) porque el modelo siempre predice la clase mayoritaria (cat), logrando una alta precisión sin aprender realmente a distinguir entre gatos y perros. La puntuación F1 penaliza al modelo por su baja recuperación en la clase minoritaria (dogs), ofreciendo una evaluación más realista de su rendimiento.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Precision

La precisión mide la proporción de identificaciones positivas que fueron realmente correctas. Aunque es útil, no considera los falsos negativos, por lo que aún puede ser alta si el modelo rara vez predice la clase minoritaria, como en este escenario.

B

Incorrecta

Recall

La recuperación mide la proporción de positivos reales que se identificaron correctamente. En este caso, el modelo tiene una recuperación cero para la clase de los perros porque nunca predice 'dog', por lo que la recuperación por sí sola sería 0 para los perros pero 100% para los gatos, dando una imagen incompleta.

C

Correcta

F1-score

La puntuación F1 combina la precisión y la recuperación en una sola métrica que penaliza los valores extremos. Para este modelo, la puntuación F1 de la clase minoritaria (dogs) sería muy baja, revelando el pobre rendimiento que la precisión oculta.

D

Incorrecta

Accuracy

La precisión global es la proporción de predicciones correctas sobre el total de predicciones. En este conjunto de datos altamente desequilibrado, el modelo logra una precisión del 95% simplemente adivinando siempre la clase mayoritaria, lo cual no refleja su incapacidad para detectar perros.

Para profundizar

Con una división de 95/5 y un modelo que siempre predice 'cat', la precisión alcanza el 95% mientras que la recuperación para los perros es cero; por lo tanto, la puntuación F1, que es la media armónica de la precisión y la recuperación, expone el fallo al colapsar hacia cero cuando cualquiera de los componentes es deficiente. La precisión por sí sola también puede engañar porque el modelo nunca predice la clase minoritaria, haciendo que sus predicciones positivas sean correctas de manera trivial. Una sutileza que vale la pena conocer es que F1 pondera la precisión y la recuperación por igual, por lo que si los falsos negativos son más costosos que los falsos positivos, se puede preferir la recuperación o un F1 ponderado por beta. En la práctica, un modelo de cribado médico con datos de enfermedades raras necesita este tipo de métrica para evitar desplegar un clasificador que nunca marque la condición para la cual fue construido.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.