MediaOpción múltiple

Pregunta de práctica de Generative AI Leader

Un desarrollador está utilizando Vertex AI Gemini API para un chatbot. El chatbot a veces genera contenido dañino. ¿Cuál es el mejor primer paso para mitigar esto?

Elige la mejor respuesta.

Respuesta correcta

  • CUsar filtros de seguridad y configuraciones de seguridad en la solicitud de la API

Explicación

La Vertex AI Gemini API proporciona filtros de seguridad integrados y configuraciones de seguridad configurables (por ejemplo, el parámetro `safety_settings` con categorías como `HARM_CATEGORY_HARASSMENT` y umbrales como `BLOCK_ONLY_HIGH`) que permiten a los desarrolladores bloquear salidas dañinas en el momento de la inferencia sin necesidad de reentrenamiento. Este es el primer paso más rápido y directo para mitigar el contenido dañino, ya que no requiere infraestructura adicional ni modificación del modelo.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Ajustar el modelo (fine-tune) con datos seguros seleccionados

El ajuste fino cambia los pesos del modelo para la adaptación a tareas o estilos; no aplica los filtros de seguridad configurables ni los umbrales que bloquean las salidas dañinas en la inferencia. Resulta tentador porque los datos seleccionados parecen una solución duradera, y sería correcto cuando el objetivo sea un comportamiento específico de un dominio, no la seguridad del contenido.

B

Incorrecta

Añadir una revisión humana en el bucle (human-in-the-loop)

La revisión humana intercepta las salidas después de la generación, por lo que el contenido dañino aún llega a los usuarios antes de que alguien lo verifique. Resulta tentadora porque la revisión detecta casos límite, y sería correcta cuando las decisiones de bajo volumen y alto riesgo justifiquen una verificación por respuesta en lugar de un filtrado automatizado en la capa de API.

C

Correcta

Usar filtros de seguridad y configuraciones de seguridad en la solicitud de la API

Los filtros de seguridad y las configuraciones de seguridad se aplican por solicitud de API, lo que permite al desarrollador bloquear categorías dañinas antes de que las respuestas lleguen a los usuarios. Esta es la mitigación más rápida, que no requiere reentrenamiento ni cambios arquitectónicos en el chatbot de Gemini.

D

Incorrecta

Cambiar a un modelo más pequeño

El tamaño del modelo no determina el comportamiento de seguridad; una variante más pequeña de Gemini aún puede emitir contenido dañino y puede degradar la calidad. Resulta tentador porque los modelos más pequeños son más baratos y rápidos, y sería correcto cuando el requisito sea reducir la latencia o el costo, no mitigar salidas inseguras.

Para profundizar

Las solicitudes de la Gemini API llevan configuraciones de seguridad que asignan categorías de daño, tales como acoso, discurso de odio, contenido sexualmente explícito y contenido peligroso, a umbrales de bloqueo, y el modelo aplica estos filtros durante la generación. Establecer los umbrales en BLOCK_MEDIUM_AND_ABOVE o BLOCK_LOW_AND_ABOVE hace que las respuestas que activen una categoría se detengan y se devuelvan con una calificación de seguridad y un motivo de finalización, que la aplicación puede registrar o redirigir a un mensaje alternativo. Esto es un cambio de configuración, no de entrenamiento, por lo que surte efecto de inmediato sin reentrenamiento ni latencia adicional. El ajuste fino (fine-tuning) y la revisión humana son remedios más pesados reservados para casos en los que los filtros por sí solos no pueden cumplir con las políticas.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de Generative AI Leader de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.