FácilOpción múltiple

Pregunta de práctica de AI-102

Estás desarrollando una aplicación de IA generativa que debe cumplir con los principios de IA responsable. ¿Qué servicio de Azure AI debes usar para detectar y filtrar contenido dañino tanto en los prompts de entrada como en las respuestas de salida?

Elige la mejor respuesta.

Respuesta correcta

  • BAzure AI Content Safety

Explicación

Azure AI Content Safety es el servicio dedicado de Azure para detectar y filtrar contenido dañino como discursos de odio, violencia, autolesiones y contenido sexual, tanto en los prompts de los usuarios como en las respuestas generadas por la IA. Ofrece niveles de gravedad configurables y se integra directamente con los flujos de trabajo de IA generativa para aplicar políticas de IA responsable, lo que lo convierte en la opción correcta para este requisito.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Microsoft Purview

Microsoft Purview gobierna el descubrimiento, la clasificación y el cumplimiento de datos en todos los patrimonios; no inspecciona prompts en vivo ni finalizaciones en busca de contenido dañino. Purview se ajusta a escenarios de gobernanza y auditoría de datos, no a la moderación en tiempo de ejecución de interacciones de IA generativa.

B

Correcta

Azure AI Content Safety

Azure AI Content Safety proporciona APIs de moderación dedicadas que clasifican contenido dañino en categorías como odio, violencia y autolesiones, aplicándolas tanto a los prompts como a las respuestas generadas. Esto satisface directamente el requisito de IA responsable de detectar y filtrar contenido dañino en la entrada y la salida, lo cual los servicios de lenguaje generales no cubren.

C

Incorrecta

Azure OpenAI Service

Azure OpenAI Service aloja y genera respuestas de modelos, pero no proporciona por sí mismo la capacidad de moderación independiente; el filtrado de contenido se realiza a través de Azure AI Content Safety. Azure OpenAI es adecuado para construir la aplicación generativa, no para el servicio dedicado de detección de contenido dañino que requiere el escenario.

D

Incorrecta

Azure AI Language

Azure AI Language realiza tareas de NLP como análisis de sentimientos, extracción de frases clave y reconocimiento de entidades; no contiene un clasificador de moderación de contenido para prompts o respuestas. Es tentador porque procesa texto a escala, pero sería la opción correcta para extraer información de documentos, no para detectar contenido de odio, violencia, sexual o de autolesión en un pipeline generativo.

Para profundizar

Azure AI Content Safety expone detección basada en categorías para contenido de odio, violencia, sexual y de autolesiones, además de protectores de prompts (prompt shields) contra jailbreak e inyección indirecta de prompts, y detección de fundamentación (groundedness) para controles de alucinaciones. Se invoca como un endpoint REST o llamada al SDK que devuelve puntuaciones de gravedad por categoría, lo que permite a la aplicación bloquear, marcar o enrutar el contenido antes de que llegue al modelo y nuevamente en la ruta de respuesta. Los filtros de contenido integrados de Azure OpenAI se aplican a las implementaciones de ese servicio, pero una aplicación independiente o de múltiples modelos necesita el recurso independiente de Content Safety para lograr una política coherente entre proveedores. Purview gobierna el cumplimiento del patrimonio de datos y Azure AI Language maneja tareas de NLP como la extracción de entidades, por lo que ninguno realiza una clasificación en tiempo real de contenido dañino en prompts y finalizaciones.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-102 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.