MediaOpción múltiple

Pregunta de práctica de AI-900

Un científico de datos está entrenando un modelo para predecir si un cliente comprará un producto (Sí/No). El conjunto de datos contiene un 90% de 'No' y un 10% de 'Sí'. Después del entrenamiento, el modelo alcanza una precisión (accuracy) del 90%. ¿Qué métrica de evaluación sería más informativa para evaluar el rendimiento del modelo en la clase minoritaria?

Elige la mejor respuesta.

Respuesta correcta

  • BF1 score

Explicación

En este conjunto de datos desequilibrado (90% 'No', 10% 'Sí'), un modelo que siempre predice 'No' alcanzaría una precisión del 90%, lo que convierte a la precisión en una métrica engañosa. El F1 score es la media armónica de precisión y recall, diseñada específicamente para evaluar el rendimiento de un modelo en la clase minoritaria al equilibrar falsos positivos y falsos negativos. Es la métrica más informativa aquí porque mide directamente qué tan bien el modelo identifica las compras raras 'Sí' sin ser inflada por la clase mayoritaria.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Mean Absolute Error (MAE)

Mean Absolute Error (MAE) es una métrica de regresión que calcula la diferencia absoluta promedio entre los valores continuos predichos y los reales. No es apropiada para la clasificación binaria porque la variable objetivo es categórica (por ejemplo, 0 o 1 para presencia o ausencia de la condición), no una magnitud numérica. Usar MAE trataría las probabilidades predichas como si fueran errores continuos, pero no puede capturar si el modelo asigna correctamente la etiqueta de clase verdadera, ni refleja el equilibrio de precisión y recall necesario para clases desequilibradas. Por lo tanto, MAE es irrelevante para evaluar un clasificador.

B

Correcta

F1 score

F1 score es la media armónica de precision y recall, dando el mismo peso a ambas métricas. Es particularmente valiosa cuando el conjunto de datos está desequilibrado porque penaliza directamente los falsos positivos y los falsos negativos desde la perspectiva de la clase minoritaria. A diferencia de la precisión, F1 no permite que el sesgo de la clase mayoritaria domine la evaluación, ya que solo considera la precisión y el recall de la clase positiva. Por lo tanto, proporciona un número único e interpretable que refleja qué tan bien el modelo detecta el resultado raro (positivo) mientras mantiene la confiabilidad de sus predicciones positivas.

C

Incorrecta

Area Under the Curve (AUC)

Area Under the Curve (AUC) resume la capacidad discriminativa del modelo en todos los umbrales de clasificación al medir la probabilidad de que una instancia positiva elegida al azar se clasifique más alto que una instancia negativa elegida al azar. Sin embargo, AUC no indica cómo se comporta el modelo en el umbral de decisión específico utilizado para las predicciones reales, y puede parecer alto incluso cuando el recall o la precisión de la clase minoritaria son pobres en ese umbral elegido. Para conjuntos de datos desequilibrados, F1 es más directamente interpretable porque refleja el equilibrio exacto entre precisión y recall en el punto de operación que se está implementando, mientras que AUC es un agregado independiente del umbral.

D

Incorrecta

R-squared

R-squared (coeficiente de determinación) mide la proporción de varianza en un objetivo continuo explicado por un modelo de regresión, comparando la varianza residual frente a la varianza total de la variable dependiente. En la clasificación binaria, el resultado no es una variable continua, por lo que el concepto de 'varianza explicada' carece de sentido; un resultado con solo dos categorías no puede tener una estructura de error gaussiana. Además, R-squared puede ser negativo o artificialmente bajo cuando se aplica a salidas probabilísticas de un clasificador, lo que la convierte en una métrica inválida y engañosa para esta tarea predictiva.

Para profundizar

La evaluación de modelos para clasificación desequilibrada es sutil porque la métrica de precisión estándar puede ser engañosamente alta cuando la clase minoritaria es rara; un modelo que siempre predice la clase mayoritaria puede lograr una alta precisión mientras pasa por alto por completo el evento de interés. La precisión (precision) y el recall ofrecen una visión más matizada: precision mide cuántos positivos predichos son realmente positivos, mientras que recall mide cuántos positivos reales son capturados por el modelo. F1 score equilibra estas dos medidas utilizando la media armónica, que penaliza fuertemente los valores bajos de cualquiera de ellas; por ejemplo, si precision o recall es 0, F1 se vuelve 0, incluso si la otra métrica es perfecta. Una sutileza clave es que F1 depende del umbral: cambia con el punto de corte de probabilidad utilizado para convertir las puntuaciones del modelo en etiquetas de clase, y los profesionales deben ajustar ese umbral para que coincida con el costo comercial de los falsos positivos frente a los falsos negativos. En contraste, AUC (o PR-AUC) resume el rendimiento en todos los umbrales, lo que puede ser útil para la selección de modelos, pero F1 proporciona la métrica operativa que refleja las predicciones del mundo real en un umbral elegido. Un concepto erróneo común es que F1 es universalmente superior; sin embargo, en conjuntos de datos extremadamente sesgados, las curvas de precisión-recall suelen ser más informativas que las curvas ROC, porque la tasa de verdaderos negativos de ROC puede dominar debido al gran número de ejemplos negativos.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.