DifícilOpción múltiple

Pregunta de práctica de Generative AI Leader

Un equipo está afinando un modelo de lenguaje grande con datos personalizados usando Vertex AI. Observan que la pérdida de entrenamiento disminuye pero la pérdida de validación aumenta. ¿Cuál es el mejor curso de acción?

Elige la mejor respuesta.

Respuesta correcta

  • BReducir el tamaño del modelo o agregar regularización de abandono.

Explicación

El aumento de la pérdida de validación mientras disminuye la pérdida de entrenamiento es un signo clásico de sobreajuste, en el cual el modelo memoriza los datos de entrenamiento pero no logra generalizar. Reducir el tamaño del modelo o agregar regularización de abandono combate directamente el sobreajuste al limitar la capacidad del modelo o introducir ruido durante el entrenamiento, lo que fuerza al modelo a aprender características más robustas. Esta es la mejor opción de acción porque aborda la causa raíz sin exacerbar aún más el problema.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar el número de épocas de entrenamiento.

La divergencia entre la pérdida de entrenamiento y la de validación indica sobreajuste, por lo que agregar épocas permite que el modelo memorice aún más los datos personalizados y amplía la brecha. Más épocas se adaptan al subajuste, donde ambas pérdidas se mantengan altas y el modelo aún no haya capturado el patrón subyacente.

B

Correcta

Reducir el tamaño del modelo o agregar regularización de abandono.

Agregar regularización de abandono contrarresta directamente el sobreajuste que causa que la pérdida de validación diverja de la pérdida de entrenamiento. Reducir la capacidad del modelo limita asimismo la memorización de los datos personalizados de afinación. Ambas abordan la brecha de generalización que describe el enunciado, donde la pérdida de entrenamiento cae mientras que la pérdida de validación sube, restaurando la alineación entre las dos curvas.

C

Incorrecta

Aumentar la tasa de aprendizaje.

Elevar la tasa de aprendizaje hace que las actualizaciones de los pesos sean mayores, lo que desestabiliza una ejecución que ya presenta sobreajuste y puede empujar la pérdida de validación aún más hacia arriba. Se elige una tasa más alta cuando la pérdida de entrenamiento se estanca demasiado lentamente, no cuando el modelo está memorizando datos y la generalización se está degradando.

D

Incorrecta

Cambiar a un tamaño de lote más pequeño.

Reducir el tamaño del lote agrega ruido de gradiente y típicamente empeora la brecha de sobreajuste en lugar de cerrarla; la regularización, el abandono o la detención temprana abordan la divergencia. Se eligen lotes más pequeños para ajustarse a una memoria de GPU limitada o para escapar de mínimos pronunciados, no para corregir una pérdida de validación en aumento.

Para profundizar

El patrón descrito —la pérdida de entrenamiento disminuye mientras que la pérdida de validación aumenta— es la firma clásica del sobreajuste: el modelo está memorizando peculiaridades del conjunto de entrenamiento en lugar de aprender patrones generalizables. Bajo el capó, esto ocurre cuando el recuento de parámetros o la capacidad efectiva supera lo que el conjunto de datos puede restringir, por lo que el descenso de gradiente continúa reduciendo el riesgo empírico mientras el riesgo real crece. Agregar la regularización de abandono pone en cero las activaciones de manera aleatoria durante cada paso de propagación hacia adelante, lo que fuerza a la red a distribuir representaciones y reduce la coadaptación; reducir el tamaño del modelo disminuye la capacidad directamente. En Vertex AI, ajustaría estos parámetros mediante los hiperparámetros de la canalización de entrenamiento y supervisaría ambas curvas de pérdida en Vertex AI Experiments o TensorBoard. Un escenario realista: afinar un modelo base en unos pocos miles de ejemplos de dominio, donde la perplejidad de validación comienza a subir después de la segunda época; la detención temprana junto con la regularización restaura la generalización.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.