FácilOpción múltiple

Pregunta de práctica de AI-102

Estás desarrollando una aplicación de chat que utiliza Azure OpenAI Service para responder a las consultas de los clientes. La solución debe garantizar que el modelo no genere contenido dañino u ofensivo. ¿Qué servicio de Azure AI debes configurar?

Elige la mejor respuesta.

Respuesta correcta

  • CAzure AI Content Safety

Explicación

Azure AI Content Safety está diseñado específicamente para detectar y filtrar contenido dañino u ofensivo en texto e imágenes, lo que lo convierte en el servicio adecuado para integrarlo con una aplicación de chat de Azure OpenAI para aplicar directrices de seguridad de contenido. Proporciona API para la moderación de contenido, incluido el filtrado basado en la gravedad para categorías de odio, autolesión, contenido sexual y violencia, lo que aborda directamente el requisito de evitar que el modelo genere resultados dañinos.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Azure AI Bot Service

Azure AI Bot Service crea y canaliza bots conversacionales; no filtra la salida del modelo. El filtrado de seguridad de contenido se configura a través de Azure AI Content Safety, que aplica categorías de daño a los prompts y finalizaciones (completions). Bot Service resulta tentador porque aloja experiencias de chat, pero proporciona orquestación, no moderación.

B

Incorrecta

Azure AI Search

Azure AI Search indexa y recupera documentos para la fundamentación; no puede evaluar ni suprimir salidas de modelos ofensivas. Azure AI Content Safety proporciona los filtros de categorías de daño. AI Search resulta tentador porque el chat aumentado por recuperación (RAG) lo utiliza comúnmente, pero la indexación de contenido no está relacionada con la moderación de las respuestas generadas.

C

Correcta

Azure AI Content Safety

Azure AI Content Safety proporciona una clasificación de daños dedicada en categorías como odio, violencia y autolesión, filtrando tanto los prompts como las finalizaciones (completions). Configurarlo en el endpoint de Azure OpenAI cumple con el requisito de que el modelo nunca genere contenido dañino u ofensivo.

D

Incorrecta

Azure AI Language

Azure AI Language ofrece tareas de NLP como análisis de sentimientos, reconocimiento de entidades y resumen; no intercepta ni bloquea generaciones de modelos dañinas. Azure AI Content Safety realiza ese filtrado. AI Language resulta tentador porque analiza texto, pero el análisis difere de la aplicación de umbrales de seguridad en los prompts y finalizaciones (completions).

Para profundizar

Azure AI Content Safety proporciona API de moderación dedicadas, incluido el análisis de texto para categorías de odio, violencia, sexual y autolesión con umbrales de gravedad configurables, además de protección para prompts (prompt shields) y detección de fundamentación (groundedness detection). Cuando se integra con Azure OpenAI, se pueden asignar filtros de contenido a un despliegue para que los prompts y las finalizaciones (completions) se evalúen antes de ser devueltos a la aplicación de chat. Esto es independiente de Azure AI Language, que maneja el reconocimiento de entidades y el análisis de sentimientos, y de Bot Service o AI Search, que manejan la orquestación de conversaciones y la recuperación. Un escenario realista es un bot de atención al cliente en el que se deben bloquear y registrar los intentos de evasión (jailbreak) y las salidas ofensivas; Content Safety devuelve gravedades de categoría que la aplicación puede usar para rechazar o escalar las respuestas.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-102 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.