DifícilOpción múltiple

Pregunta de práctica de AI-900

Un escritor utiliza Azure OpenAI Service para generar múltiples ideas de historias. Encuentra que el modelo a menudo repite los mismos conceptos en diferentes resultados. ¿Qué parámetro debería incrementar para reducir la repetición y fomentar contenido más novedoso?

Elige la mejor respuesta.

Respuesta correcta

  • CFrequency penalty

Explicación

El parámetro frequency penalty en Azure OpenAI Service reduce la probabilidad de repetir los mismos tokens o frases aplicando una penalización proporcional a la frecuencia de los tokens ya generados. Incrementar este valor desincentiva al modelo de reutilizar conceptos comunes, promoviendo así ideas de historias más novedosas y diversas.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Temperature

Temperature ajusta la distribución de probabilidad sobre el vocabulario escalando los logits antes del muestreo; un valor más alto (por ejemplo, 1.5) aumenta la aleatoriedad, mientras que un valor más bajo (por ejemplo, 0.2) hace que los resultados sean más deterministas. Sin embargo, aplica el mismo escalado globalmente a todos los tokens candidatos en cada paso y no realiza un seguimiento de qué tokens ya han aparecido en la secuencia generada. En consecuencia, incluso con una temperatura alta, el modelo aún puede caer en bucles repetitivos porque no hay un mecanismo para penalizar explícitamente los tokens utilizados anteriormente. Solo una penalización de repetición dedicada reduce directamente la probabilidad de generar el mismo token nuevamente.

B

Incorrecta

Top_p (nucleus sampling)

Top_p (nucleus sampling) selecciona dinámicamente el conjunto más pequeño de tokens cuya masa de probabilidad acumulada es igual o supera el umbral p (por ejemplo, 0.9) y luego realiza el muestreo solo de ese conjunto. Esto puede añadir variedad al descartar tokens de probabilidad extremadamente baja y ampliar el grupo de candidatos, lo que podría reducir indirectamente algunos patrones repetitivos en generaciones breves. Sin embargo, top_p no incorpora ningún historial de uso de tokens; elige entre los mismos candidatos plausibles independientemente de si ya se han generado. Por lo tanto, si el modelo asigna una alta probabilidad a repetir un token debido a patrones de repetición en sus datos de entrenamiento, top_p no evitará esa repetición, porque nunca ajusta las probabilidades basándose en apariciones anteriores.

C

Correcta

Frequency penalty

Frequency penalty es el parámetro correcto porque resta explícitamente un valor proporcional a cuántas veces ha aparecido ya un token en el texto generado actual. En Azure OpenAI, la penalización se aplica a la probabilidad logarítmica de cada token como frequency_penalty * count_of_token_occurrences, por lo que un token usado dos veces recibe el doble de penalización que uno usado una vez. Esto desincentiva directamente al modelo de reutilizar las mismas palabras o frases una y otra vez, haciendo que el resultado sea más novedoso y variadado. Está diseñado específicamente para el control de repeticiones, a diferencia de temperature o top_p, que solo dan forma a la distribución de probabilidad general sin hacer referencia al contenido generado.

D

Incorrecta

Max tokens

Max tokens establece el límite superior absoluto en el número de tokens que el servicio Azure OpenAI generará, comúnmente utilizado para limitar la longitud de la respuesta, el coste y la latencia. No altera la lógica de selección de tokens en ningún paso de generación individual, por lo que no puede evitar que el modelo elija tokens repetidos antes de alcanzar ese límite. Si bien un max_tokens más corto podría truncar una secuencia repetitiva y hacer que el resultado parezca menos repetitivo, el contenido repetido ya generado permanece, y las probabilidades por paso del modelo no se modifican. Por lo tanto, max tokens es un tope de longitud, no un mecanismo de control de repeticiones; el escritor debe usar frequency penalty para abordar directamente el texto repetitivo.

Para profundizar

Los controles de repetición de Azure OpenAI abordan un modo de fallo común en los modelos de lenguaje autorregresivos: la repetición autorreforzada. Durante el muestreo, el modelo calcula una distribución de probabilidad para el siguiente token basándose en el contexto precedente; si el contexto contiene una palabra, la probabilidad condicional de esa palabra puede volverse alta debido a los patrones aprendidos durante el entrenamiento, lo que lleva a un bucle de retroalimentación donde el modelo se repite a sí mismo. El frequency penalty modifica esto aplicando una penalización lineal basada en el recuento absoluto de cada token en el texto generado, mientras que el presence penalty aplica una única penalización constante si el token aparece siquiera una vez. Ambos son nativos de la API de completados de Azure OpenAI y se pueden configurar de -2.0 a 2.0; los valores positivos reducen la repetición, siendo el frequency penalty más fuerte para los tokens usados muchas veces. Un matiz sutil pero importante: el frequency penalty se aplica a la probabilidad logarítmica antes del muestreo, por lo que cambia el orden relativo de los tokens candidatos y puede afectar a la fluidez, aumentando potencialmente la creatividad pero también arriesgando resultados fuera de tema si se establece demasiado alto. En escenarios de escritura creativa, combinar un frequency penalty moderado con una temperatura o top_p ajustados puede ayudar a equilibrar la novedad y la coherencia, pero solo las penalizaciones de repetición optimizan directamente para reducir el contenido repetido, por lo que son la respuesta correcta cuando la repetición es el problema principal.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.