MediaSelección múltiple

Pregunta de práctica de AI-102

Está implementando un modelo de clasificación de texto personalizado de Azure AI Language. Debe asegurarse de que el modelo cumpla con los requisitos de rendimiento antes de promoverlo a producción. ¿Qué dos acciones debe realizar? (Elija dos).

Elige todas las respuestas correctas.

Respuestas correctas

  • AEvalúe el modelo en un conjunto de prueba reservado que no se haya utilizado durante el entrenamiento.
  • BRevise la matriz de confusión para comprender qué clases se clasifican erróneamente con frecuencia.

Explicación

La opción A es correcta porque evaluar el modelo de clasificación de texto personalizado en un conjunto de prueba reservado que nunca se usó durante el entrenamiento proporciona una estimación imparcial del rendimiento de generalización, lo cual es esencial antes de promover el modelo a producción. La opción B es correcta porque revisar la matriz de confusión revela patrones de precisión/exhaustividad (precision/recall) por clase y muestra exactamente qué clases se clasifican incorrectamente con frecuencia, lo que permite mejoras específicas en los datos o etiquetas. La opción C es incorrecta porque Azure AI Language no requiere un umbral de precisión fijo del 95% en una división de validación cruzada; los objetivos de rendimiento son específicos del escenario y la validación cruzada no es el flujo de trabajo de evaluación estándar para este servicio. La opción D es incorrecta porque calcular la precisión en el conjunto de entrenamiento mide la memorización en lugar de la generalización y estará sesgada de manera optimista. La opción E es incorrecta porque comparar con una línea base de clase mayoritaria es una comprobación de sanidad útil, pero no es una de las acciones requeridas para validar un modelo de clasificación de texto personalizado antes de producción.

Por qué cada opción es correcta o incorrecta

A

Correcta

Evalúe el modelo en un conjunto de prueba reservado que no se haya utilizado durante el entrenamiento.

Evaluar en un conjunto de prueba reservado que nunca se vio durante el entrenamiento produce puntuaciones imparciales de precisión, exhaustividad (recall) y F1, lo que confirma que el modelo se generaliza en lugar de memorizar los datos de entrenamiento. Esta puerta de validación debe superarse antes de la promoción a producción, satisfaciendo el requisito de verificación de rendimiento.

B

Correcta

Revise la matriz de confusión para comprender qué clases se clasifican erróneamente con frecuencia.

La matriz de confusión expone la precisión y la exhaustividad (recall) por clase, revelando qué categorías confunde el modelo con más frecuencia. Su revisión satisface directamente el requisito del enunciado de verificar el rendimiento antes de la promoción, ya que las métricas agregadas por sí solas ocultan debilidades a nivel de clase que afectarían la precisión en producción.

C

Incorrecta

Asegúrese de que el modelo alcance al menos un 95% de precisión en una división de validación cruzada.

La precisión por sí sola puede ser engañosa, especialmente con clases desequilibradas; la precisión y la exhaustividad (recall) son más importantes.

D

Incorrecta

Utilice el conjunto de entrenamiento para calcular la precisión y asegúrese de que esté por encima del 90%.

El rendimiento en el conjunto de entrenamiento está inflado y no refleja la generalización.

E

Incorrecta

Compare el rendimiento del modelo con un modelo de referencia que siempre predice la clase más común.

Si bien comparar con una línea base es útil, no es una acción requerida antes de la promoción; la pregunta solicita acciones para garantizar los requisitos de rendimiento.

Para profundizar

La clasificación de texto personalizado de Azure AI Language entrena un modelo con expresiones etiquetadas e informa la precisión, la exhaustividad (recall) y la puntuación F1 por clase. Evaluar en un conjunto de prueba reservado que nunca se vio durante el entrenamiento proporciona una estimación imparcial de la generalización, mientras que inspeccionar la matriz de confusión revela confusiones sistemáticas entre pares de clases específicos, guiando la aumentación de datos o la limpieza de etiquetas. Calcular la precisión en el conjunto de entrenamiento es engañoso porque mide la memorización, no la generalización, y un umbral fijo del 95% es arbitrario y no es un requisito documentado. Una línea base de clase mayoritaria es un contexto útil, pero no es una de las dos acciones de validación requeridas. En la práctica, la baja exhaustividad (recall) por clase en una clase rara suele importar más que la precisión general, especialmente en escenarios de clasificación desequilibrados.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-102 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.