MediaSelección múltiple

Pregunta de práctica de AI-102

¿Qué DOS acciones puede realizar para reducir el costo de usar Azure OpenAI Service para una aplicación de chat?

Elige todas las respuestas correctas.

Respuestas correctas

  • CEstablecer el parámetro max_tokens en un valor más bajo.
  • EUtilizar un modelo más pequeño como GPT-3.5 en lugar de GPT-4.

Explicación

Reducir el parámetro max_tokens limita directamente el número de tokens generados por llamada a la API, lo que reduce el costo ya que Azure OpenAI Service cobra por token (tanto de entrada como de salida). Al limitar la longitud de la respuesta, se evita pagar por finalizaciones innecesariamente largas.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar la penalización por frecuencia.

La penalización por frecuencia no reduce el costo.

B

Incorrecta

Habilitar el filtrado de contenido.

El filtrado de contenido no afecta el costo.

C

Correcta

Establecer el parámetro max_tokens en un valor más bajo.

Reduce el recuento de tokens por respuesta.

D

Incorrecta

Aumentar el parámetro max_tokens para permitir respuestas más largas.

Aumenta el uso de tokens.

E

Correcta

Utilizar un modelo más pequeño como GPT-3.5 en lugar de GPT-4.

Los modelos más pequeños son más económicos.

Para profundizar

Azure OpenAI factura por token de entrada y salida, por lo que la reducción de costos se centra en el volumen de tokens y la elección del modelo. Reducir max_tokens limita la longitud de la finalización y, por lo tanto, los cargos de salida, mientras que seleccionar un modelo más pequeño como GPT-3.5-Turbo en lugar de GPT-4 reduce sustancialmente la tarifa por token. La temperatura, top_p y la penalización por frecuencia solo alteran el muestreo y no cambian la facturación, y el filtrado de contenido es una característica de seguridad en lugar de una palanca de costos. Un detalle sutil es que los tokens del prompt también cuentan, por lo que recortar los mensajes del sistema y el historial de conversación importa tanto como limitar las finalizaciones. Esto es relevante cuando una aplicación de chat con historiales largos se escala a muchos usuarios y el gasto en tokens se convierte en el costo operativo dominante.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-102 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.