MediaOpción múltiple

Pregunta de práctica de AI-900

¿Qué es el reinforcement learning?

Elige la mejor respuesta.

Respuesta correcta

  • BEntrenar a un agente mediante recompensas y penalizaciones en un entorno interactivo

Explicación

El reinforcement learning es un paradigma de machine learning en el que un agente aprende a tomar decisiones interactuando con un entorno, recibiendo recompensas por acciones deseables y penalizaciones por las indeseables. Este proceso de prueba y error permite al agente desarrollar una política óptima a lo largo del tiempo, diferenciándose del aprendizaje supervisado o no supervisado. En Azure, esto se ejemplifica con servicios como las capacidades de reinforcement learning de Azure Machine Learning o la integración con plataformas como Ray RLlib.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Un tipo de aprendizaje supervisado que utiliza datos de entrenamiento etiquetados

El reinforcement learning no se categoriza como un método de aprendizaje supervisado. El aprendizaje supervisado se basa en datos de entrenamiento etiquetados donde cada ejemplo tiene un resultado real conocido, mientras que el reinforcement learning utiliza retroalimentación evaluativa en forma de recompensas y penalizaciones en lugar de etiquetas explícitas. El agente nunca ve las acciones 'correctas' directamente; debe descubrirlas a través de la interacción y las consecuencias retrasadas, lo cual es fundamentalmente diferente de mapear entradas a salidas previamente etiquetadas.

B

Correcta

Entrenar a un agente mediante recompensas y penalizaciones en un entorno interactivo

Esta es la definición correcta de reinforcement learning. Un agente opera en un entorno, realiza acciones y recibe una señal de recompensa escalar (positiva para un comportamiento deseable y negativa para uno indeseable) para aprender una política que maximice la recompensa acumulativa a lo largo del tiempo. Este proceso de prueba y error se formaliza como un proceso de decisión de Markov, y el agente debe equilibrar la exploración de acciones desconocidas con la explotación de aquellas conocidas que otorgan recompensas. A través de interacciones repetidas, el agente aprende a asociar los estados del entorno con las acciones que producen el mayor rendimiento a largo plazo.

C

Incorrecta

Una técnica de clustering que agrupa datos similares automáticamente

Esta descripción confunde el reinforcement learning con el clustering no supervisado. El clustering es una técnica no supervisada que particiona puntos de datos en grupos según su similitud, sin que intervengan señales de recompensa ni decisiones secuenciales. El reinforcement learning, por el contrario, es impulsado por una señal de recompensa evaluativa de un entorno interactivo, donde el objetivo es aprender una política para elegir acciones a lo largo del tiempo, y no descubrir estructuras ocultas en datos estáticos. Por lo tanto, aunque ambos son 'aprender de la experiencia' en un sentido amplio, sus objetivos y mecanismos son completamente distintos.

D

Incorrecta

Utilizar modelos previamente entrenados en nuevas tareas

Esto describe el transfer learning, que reutiliza ponderaciones o características de un modelo preentrenado en una tarea para acelerar o mejorar el aprendizaje en una tarea diferente pero relacionada. El reinforcement learning no se define por la reutilización de modelos existentes; un agente normalmente aprende desde cero interactuando con su entorno y ajustando su política en función de las recompensas y penalizaciones. Incluso cuando se incorpora conocimiento previo en el RL, el proceso de aprendizaje central sigue siendo la interacción con el entorno y la maximización de la recompensa, y no la aplicación directa de una red preentrenada a una nueva tarea.

Para profundizar

El reinforcement learning es una rama del machine learning centrada en la toma de decisiones secuenciales, donde un agente aprende interactuando con un entorno para maximizar una señal de recompensa acumulativa. El marco formal es típicamente un proceso de decisión de Markov (MDP), definido por estados, acciones, probabilidades de transición, recompensas y un factor de descuento que pondera los rendimientos inmediatos frente a los futuros. Una sutileza clave es que las recompensas son evaluativas, no instructivas: indican cuán buena fue una acción en retrospectiva, pero no le dicen al agente cuál habría sido la acción correcta, razón por la cual la asignación de crédito —determinar qué acciones pasadas merecen crédito por una recompensa retrasada— es un desafío central. El RL difiere marcadamente del aprendizaje supervisado (que aprende de ejemplos etiquetados), el aprendizaje no supervisado (que encuentra estructuras ocultas) y el transfer learning (que reutiliza modelos previamente entrenados); en su lugar, se rige por la prueba y error, la exploración frente a la explotación y la planificación a largo plazo. Las aplicaciones del mundo real incluyen juegos (por ejemplo, AlphaGo), control robótico, conducción autónoma y fijación de precios dinámica, donde el agente debe adaptarse continuamente a un entorno incierto basándose en la retroalimentación de sus propias acciones. Un concepto erróneo común es que el RL se puede reducir al aprendizaje supervisado con recompensas como etiquetas, pero la falta de respuestas correctas explícitas y la presencia de decisiones extendidas en el tiempo lo convierten en un problema fundamentalmente diferente y a menudo más complejo.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de AI-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.