MediaOpción múltiple

Pregunta de práctica de AI-102

Una empresa está creando un chatbot utilizando Azure OpenAI Service para responder a las consultas de los clientes. El chatbot no debe generar contenido dañino u ofensivo. ¿Qué servicio de Azure AI se debe integrar para filtrar contenido inapropiado?

Elige la mejor respuesta.

Respuesta correcta

  • CAzure AI Content Safety

Explicación

Azure AI Content Safety es el servicio correcto porque proporciona API de moderación de contenido integradas que detectan y filtran texto e imágenes dañinos u ofensivos, incluidos el discurso de odio, la violencia, la autolesión y el contenido sexual. La integración de este servicio con el chatbot de Azure OpenAI garantiza que las entradas del usuario y las salidas del modelo se examinen en tiempo real, evitando la generación de respuestas inapropiadas.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Azure Bot Service

Azure Bot Service aloja y canaliza bots conversacionales; no realiza moderación de contenido de la salida del modelo. Es tentador porque el chatbot en sí se ejecuta en un marco de bot, pero el requisito es el filtrado de prompts y finalizaciones, que Azure AI Content Safety proporciona a través de categorías y umbrales de gravedad.

B

Incorrecta

Azure Cognitive Search

Azure Cognitive Search indexa y recupera documentos para fundamentar las respuestas; no aplica ninguna clasificación de daño a los prompts o finalizaciones. Es tentador porque los chatbots aumentados por recuperación dependen de él, pero el requisito establecido es bloquear la salida ofensiva, lo cual realiza Azure AI Content Safety.

C

Correcta

Azure AI Content Safety

Azure AI Content Safety proporciona modelos de moderación dedicados que detectan contenido dañino, violento, odioso y sexual tanto en prompts como en finalizaciones. Integrarlo filtra la salida generada inapropiada, satisfaciendo el requisito de que el chatbot no debe producir respuestas ofensivas.

D

Incorrecta

Azure Form Recognizer

Form Recognizer extrae campos estructurados de documentos como facturas y formularios; no inspecciona el texto generado en busca de contenido dañino. Es tentador cuando el chatbot debe analizar el papeleo cargado, pero filtrar las finalizaciones ofensivas requiere las categorías de moderación de texto de Azure AI Content Safety.

Para profundizar

Azure AI Content Safety expone API de categoría para contenido de Odio, Violencia, Sexual y Autolesión, cada una de las cuales devuelve una gravedad de 0 a 7, además de una función de Prompt Shields que detecta intentos de jailbreak. Cuando se conecta a Azure OpenAI, el filtro de contenido se ejecuta en el lado del servidor tanto en el prompt como en la finalización, y usted configura los umbrales de gravedad por categoría en la implementación; una respuesta bloqueada devuelve un objeto content_filter_results con la categoría desencadenante. Una sutileza es que los filtros son asíncronos a la lógica de su aplicación y pueden rechazar una finalización a mitad de flujo, por lo que los clientes deben manejar el finish_reason de content_filter. Esto es importante para los chatbots orientados al cliente donde una sola respuesta ofensiva crea una exposición de cumplimiento.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-102 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.