Bonne réponse
Explication
Azure AI Content Safety est spécifiquement conçu pour détecter et filtrer le contenu préjudiciable ou offensant dans le texte et les images, ce qui en fait le service approprié à intégrer avec une application de chat Azure OpenAI pour appliquer les politiques de sécurité du contenu. Il fournit des API pour la modération du contenu, y compris le filtrage basé sur la gravité pour les catégories de haine, d'automutilation, de contenu sexuel et de violence, ce qui répond directement à l'exigence d'empêcher le modèle de générer des sorties préjudiciables.
Pour aller plus loin
Azure AI Content Safety fournit des API de modération dédiées, incluant l'analyse de texte pour les catégories de haine, de violence, sexuelle et d'automutilation avec des seuils de gravité configurables, ainsi que des boucliers de prompts (prompt shields) et la détection d'ancrage (groundedness detection). Lorsqu'il est intégré à Azure OpenAI, des filtres de contenu peuvent être assignés à un déploiement afin que les prompts et les complétions (completions) soient évalués avant d'être renvoyés à l'application de chat. Ceci est distinct d'Azure AI Language, qui gère la reconnaissance d'entités et l'analyse des sentiments, et de Bot Service ou AI Search, qui gèrent l'orchestration des conversations et la recherche. Un scénario réaliste est un bot de support client où les tentatives de contournement (jailbreak) et les sorties offensantes doivent être bloquées et enregistrées ; Content Safety renvoie des gravités de catégorie que l'application peut utiliser pour refuser ou escalader les réponses.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement AI-102 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.