MoyenneChoix unique

Question d'entraînement AI-900

Qu'est-ce que le reinforcement learning ?

Choisissez la meilleure réponse.

Bonne réponse

  • BL'entraînement d'un agent par le biais de récompenses et de pénalités dans un environnement interactif

Explication

Le reinforcement learning est un paradigme de machine learning dans lequel un agent apprend à prendre des décisions en interagissant avec un environnement, en recevant des récompenses pour les actions souhaitables et des pénalités pour les indésirables. Ce processus d'essais et erreurs permet à l'agent de développer une politique optimale au fil du temps, ce qui le distingue de l'apprentissage supervisé ou non supervisé. Dans Azure, cela est illustré par des services tels que les capacités de reinforcement learning d'Azure Machine Learning ou l'intégration avec des plateformes comme Ray RLlib.

Pourquoi chaque option est juste ou fausse

A

Fausse

Un type d'apprentissage supervisé qui utilise des données d'entraînement étiquetées

Le reinforcement learning n'est pas catégorisé comme une méthode d'apprentissage supervisé. L'apprentissage supervisé repose sur des données d'entraînement étiquetées où chaque exemple a un résultat réel connu, tandis que le reinforcement learning utilise un retour évaluatif sous forme de récompenses et de pénalités plutôt que des étiquettes explicites. L'agent ne voit jamais directement les actions 'correctes' ; il doit les découvrir par l'intermédiaire de l'interaction et des conséquences différées, ce qui est fondamentalement différent du mappage d'entrées vers des sorties préalablement étiquetées.

B

Juste

L'entraînement d'un agent par le biais de récompenses et de pénalités dans un environnement interactif

Il s'agit de la définition correcte du reinforcement learning. Un agent évolue dans un environnement, effectue des actions et reçoit un signal de récompense scalaire (positif pour un comportement souhaitable et négatif pour un comportement indésirable) afin d'apprendre une politique qui maximise la récompense cumulative au fil du temps. Ce processus d'essais et erreurs est formalisé comme un processus de décision markovien, et l'agent doit équilibrer l'exploration d'actions inconnues et l'exploitation de celles connues pour rapporter des récompenses. Par le biais d'interactions répétées, l'agent apprend à associer les états de l'environnement aux actions qui génèrent le rendement à long terme le plus élevé.

C

Fausse

Une technique de clustering qui regroupe automatiquement des données similaires

Cette description confond le reinforcement learning avec le clustering non supervisé. Le clustering est une technique non supervisée qui partitionne des points de données en groupes en fonction de leur similarité, sans qu'aucun signal de récompense ou décision séquentielle ne soit impliqué. Le reinforcement learning, en revanche, est guidé par un signal de récompense évaluatif provenant d'un environnement interactif, où l'objectif est d'apprendre une politique permettant de choisir des actions au fil du temps, et non de découvrir des structures cachées dans des données statiques. Ainsi, bien que les deux relèvent de 'l'apprentissage par l'expérience' au sens large, leurs objectifs et leurs mécanismes sont totalement distincts.

D

Fausse

L'utilisation de modèles préalablement entraînés sur de nouvelles tâches

Cela décrit le transfer learning, qui réutilise des pondérations ou des caractéristiques d'un modèle pré-entraîné sur une tâche afin d'accélérer ou d'améliorer l'apprentissage sur une tâche différente mais connexe. Le reinforcement learning ne se définit pas par la réutilisation de modèles existants ; un agent apprend généralement à partir de zéro en interagissant avec son environnement et en ajustant sa politique en fonction des récompenses et des pénalités. Même lorsque des connaissances préalables sont intégrées dans le RL, le processus d'apprentissage fondamental reste l'interaction avec l'environnement et la maximisation des récompenses, et non l'application directe d'un réseau pré-entraîné à une nouvelle tâche.

Pour aller plus loin

Le reinforcement learning est une branche du machine learning axée sur la prise de décision séquentielle, où un agent apprend en interagissant avec un environnement pour maximiser un signal de récompense cumulatif. Le cadre formel est généralement un processus de décision markovien (MDP), défini par des états, des actions, des probabilités de transition, des récompenses et un facteur d'actualisation qui pondère les rendements immédiats par rapport aux rendements futurs. Une subtilité clé réside dans le fait que les récompenses sont évaluatives et non instructives : elles indiquent à posteriori si une action était bonne, mais n'indiquent pas à l'agent quelle aurait dû être la bonne action. C'est pourquoi l'attribution de crédit — déterminer quelles actions passées méritent du crédit pour une récompense différée — constitue un défi central. Le RL diffère nettement de l'apprentissage supervisé (qui apprend à partir d'exemples étiquetés), de l'apprentissage non supervisé (qui trouve des structures cachées) et du transfer learning (qui réutilise des modèles pré-entraînés) ; il est plutôt guidé par les essais et erreurs, l'exploration par rapport à l'exploitation et la planification à long terme. Les applications du monde réel incluent les jeux (par exemple, AlphaGo), le contrôle robotique, la conduite autonome et la tarification dynamique, où l'agent doit s'adapter continuellement à un environnement incertain en se basant sur les retours de ses propres actions. Une idée fausse très répandue consiste à croire que le RL peut être réduit à un apprentissage supervisé utilisant des récompenses comme étiquettes, mais l'absence de réponses correctes explicites et la présence de décisions étendues dans le temps en font un problème fondamentalement différent et souvent plus complexe.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement AI-900 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.