Respuesta correcta
Explicación
Azure AI Content Safety está diseñado específicamente para detectar y filtrar contenido dañino u ofensivo en texto e imágenes, lo que lo convierte en el servicio adecuado para integrarlo con una aplicación de chat de Azure OpenAI para aplicar directrices de seguridad de contenido. Proporciona API para la moderación de contenido, incluido el filtrado basado en la gravedad para categorías de odio, autolesión, contenido sexual y violencia, lo que aborda directamente el requisito de evitar que el modelo genere resultados dañinos.
Para profundizar
Azure AI Content Safety proporciona API de moderación dedicadas, incluido el análisis de texto para categorías de odio, violencia, sexual y autolesión con umbrales de gravedad configurables, además de protección para prompts (prompt shields) y detección de fundamentación (groundedness detection). Cuando se integra con Azure OpenAI, se pueden asignar filtros de contenido a un despliegue para que los prompts y las finalizaciones (completions) se evalúen antes de ser devueltos a la aplicación de chat. Esto es independiente de Azure AI Language, que maneja el reconocimiento de entidades y el análisis de sentimientos, y de Bot Service o AI Search, que manejan la orquestación de conversaciones y la recuperación. Un escenario realista es un bot de atención al cliente en el que se deben bloquear y registrar los intentos de evasión (jailbreak) y las salidas ofensivas; Content Safety devuelve gravedades de categoría que la aplicación puede usar para rechazar o escalar las respuestas.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de AI-102 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.