Respuestas correctas
- CEstablecer el parámetro max_tokens en un valor más bajo.
- EUtilizar un modelo más pequeño como GPT-3.5 en lugar de GPT-4.
Explicación
Reducir el parámetro max_tokens limita directamente el número de tokens generados por llamada a la API, lo que reduce el costo ya que Azure OpenAI Service cobra por token (tanto de entrada como de salida). Al limitar la longitud de la respuesta, se evita pagar por finalizaciones innecesariamente largas.
Para profundizar
Azure OpenAI factura por token de entrada y salida, por lo que la reducción de costos se centra en el volumen de tokens y la elección del modelo. Reducir max_tokens limita la longitud de la finalización y, por lo tanto, los cargos de salida, mientras que seleccionar un modelo más pequeño como GPT-3.5-Turbo en lugar de GPT-4 reduce sustancialmente la tarifa por token. La temperatura, top_p y la penalización por frecuencia solo alteran el muestreo y no cambian la facturación, y el filtrado de contenido es una característica de seguridad en lugar de una palanca de costos. Un detalle sutil es que los tokens del prompt también cuentan, por lo que recortar los mensajes del sistema y el historial de conversación importa tanto como limitar las finalizaciones. Esto es relevante cuando una aplicación de chat con historiales largos se escala a muchos usuarios y el gasto en tokens se convierte en el costo operativo dominante.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de AI-102 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.