FácilOpción múltiple

Pregunta de práctica de AI-900

¿Cuál es el propósito de un conjunto de datos de prueba en el desarrollo de modelos de machine learning?

Elige la mejor respuesta.

Respuesta correcta

  • BProporcionar una evaluación final imparcial del modelo entrenado con datos no vistos

Explicación

El conjunto de datos de prueba se utiliza para proporcionar una evaluación final imparcial del modelo entrenado con datos no vistos. Esto es fundamental en machine learning porque el modelo nunca ha visto los ejemplos de prueba durante el entrenamiento o la validación, por lo que las métricas de evaluación (por ejemplo, accuracy, precision, recall) reflejan la verdadera capacidad de generalización del modelo. En Azure Machine Learning, el conjunto de datos de prueba normalmente se separa de los datos originales antes de que comience cualquier entrenamiento y solo se utiliza una vez al final del ciclo de vida de desarrollo del modelo.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Proporcionar ejemplos adicionales para entrenar el modelo

Los datos de prueba se retienen del entrenamiento para poder medir la generalización a ejemplos no vistos; alimentarlos en el entrenamiento filtraría esos ejemplos y aumentaría artificialmente la precisión reportada. Los ejemplos de entrenamiento adicionales pertenecen al conjunto de entrenamiento, utilizándose los datos de validación para el ajuste.

B

Correcta

Proporcionar una evaluación final imparcial del modelo entrenado con datos no vistos

Un conjunto de datos de prueba se retiene del entrenamiento y del ajuste de hiperparámetros, y luego se utiliza una sola vez para estimar cómo se generaliza el modelo a datos no vistos. Esto satisface el requisito del enunciado de una evaluación final imparcial, a diferencia de los datos de validación, que guían la selección del modelo y, por lo tanto, filtran información.

C

Incorrecta

Ajustar hiperparámetros y seleccionar la mejor versión del modelo

El ajuste de hiperparámetros y la selección del modelo requieren un conjunto de datos de validación, el cual se evalúa repetidamente durante el desarrollo. Un conjunto de datos de prueba se mantiene intacto hasta la evaluación final, por lo que usarlo para el ajuste filtraría información y sesgaría el rendimiento reportado.

D

Incorrecta

Monitorear el rendimiento del modelo después del despliegue

El monitoreo posterior al despliegue utiliza tráfico de producción real y métricas, no un conjunto de prueba fijo reservado. Un conjunto de datos de prueba se aparta antes del entrenamiento y se usa una vez para estimar el rendimiento en datos no vistos, por lo que no puede realizar un seguimiento de un modelo desplegado.

Para profundizar

El conjunto de prueba se reserva antes de cualquier entrenamiento y solo se toca una vez, al final del todo, para estimar el error de generalización. Debido a que el modelo nunca ve estos ejemplos durante el ajuste, la métrica resultante aproxima el rendimiento en datos verdaderamente no vistos, razón por la cual no debe usarse para actualizaciones de gradientes o búsqueda de hiperparámetros. Un error sutil: si evalúa repetidamente en el conjunto de prueba y elige el modelo con mejor puntuación, filtra información y la estimación se sesga optimistamente; por eso se utiliza un conjunto de validación separado (o validación cruzada) para el ajuste. En un escenario real, un equipo de detección de fraude entrena con el 70% de las transacciones, ajusta con el 15% y reporta la precision y el recall finales en la división de prueba del 15% intacta antes del despliegue.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.