MédiaMúltipla escolha

Questão de prática de AI-900

O que é reinforcement learning?

Escolha a melhor resposta.

Resposta correta

  • BTreinar um agente por meio de recompensas e penalidades em um ambiente interativo

Explicação

O reinforcement learning é um paradigma de machine learning no qual um agente aprende a tomar decisões interagindo com um ambiente, recebendo recompensas por ações desejáveis e penalidades por ações indesejáveis. Esse processo de tentativa e erro permite que o agente desenvolva uma política ideal ao longo do tempo, diferenciando-se do aprendizado supervisionado ou não supervisionado. No Azure, isso é exemplificado por serviços como os recursos de reinforcement learning do Azure Machine Learning ou a integração com plataformas como o Ray RLlib.

Por que cada alternativa está certa ou errada

A

Incorreta

Um tipo de aprendizado supervisionado que usa dados de treinamento rotulados

O reinforcement learning não é categorizado como um método de aprendizado supervisionado. O aprendizado supervisionado baseia-se em dados de treinamento rotulados, onde cada exemplo tem um resultado real conhecido, enquanto o reinforcement learning usa feedback avaliativo na forma de recompensas e penalidades em vez de rótulos explícitos. O agente nunca vê as ações 'corretas' diretamente; ele deve descobri-las por meio de interação e consequências atrasadas, o que é fundamentalmente diferente de mapear entradas para saídas previamente rotuladas.

B

Correta

Treinar um agente por meio de recompensas e penalidades em um ambiente interativo

Esta é a definição correta de reinforcement learning. Um agente opera em um ambiente, toma ações e recebe um sinal de recompensa escalar (positivo para comportamento desejável e negativo para indesejável) para aprender uma política que maximize a recompensa cumulativa ao longo do tempo. Esse processo de tentativa e erro é formalizado como um processo de decisão de Markov, e o agente deve equilibrar a exploração de ações desconhecidas com a exploração daquelas conhecidas por trazerem recompensas. Por meio de interações repetidas, o agente aprende a associar estados ambientais a ações que produzem o maior retorno a longo prazo.

C

Incorreta

Uma técnica de clustering que agrupa dados semelhantes automaticamente

Esta descrição confunde o reinforcement learning com o clustering não supervisionado. O clustering é uma técnica não supervisionada que particiona pontos de dados em grupos com base na similaridade, sem envolver sinais de recompensa ou decisões sequenciais. O reinforcement learning, por outro lado, é impulsionado por um sinal de recompensa avaliativo de um ambiente interativo, onde o objetivo é aprender uma política para escolher ações ao longo do tempo, e não descobrir estruturas ocultas em dados estáticos. Portanto, embora ambos sejam 'aprender com a experiência' em um sentido amplo, seus objetivos e mecanismos são inteiramente distintos.

D

Incorreta

O uso de modelos previamente treinados em novas tarefas

Isto descreve o transfer learning, que reutiliza pesos ou recursos de um modelo pré-treinado em uma tarefa para acelerar ou melhorar o aprendizado em uma tarefa diferente, porém relacionada. O reinforcement learning não é definido pela reutilização de modelos existentes; um agente normalmente aprende do zero interagindo com seu ambiente e ajustando sua política com base em recompensas e penalidades. Mesmo quando o conhecimento prévio é incorporado ao RL, o processo central de aprendizado continua sendo a interação com o ambiente e a maximização da recompensa, e não a aplicação direta de uma rede pré-treinada a uma nova tarefa.

Para se aprofundar

O reinforcement learning é um ramo do machine learning focado na tomada de decisões sequenciais, onde um agente aprende interagindo com um ambiente para maximizar um sinal de recompensa cumulativo. A estrutura formal é tipicamente um processo de decisão de Markov (MDP), definido por estados, ações, probabilidades de transição, recompensas e um fator de desconto que pondera os retornos imediatos versus os futuros. Uma subtileza fundamental é que as recompensas são avaliativas, e não instrutivas: elas indicam quão boa foi uma ação em retrospectiva, mas não dizem ao agente qual teria sido a ação correta, razão pela qual a atribuição de crédito — determinar quais ações passadas merecem crédito por uma recompensa atrasada — é um desafio central. O RL difere acentuadamente do aprendizado supervisionado (que aprende a partir de exemplos rotulados), do aprendizado não supervisionado (que encontra estruturas ocultas) e do transfer learning (que reaproveita modelos pré-treinados); ele é impulsionado, em vez disso, por tentativa e erro, exploração versus exploração e planejamento de longo prazo. As aplicações do mundo real incluem jogos (por exemplo, AlphaGo), controle robótico, direção autônoma e precificação dinâmica, onde o agente deve se adaptar continuamente a um ambiente incerto com base no feedback de suas próprias ações. Um equívoco comum é que o RL pode ser reduzido ao aprendizado supervisionado com recompensas como rótulos, mas a falta de respostas corretas explícitas e a presença de decisões estendidas no tempo tornam-no um problema fundamentalmente diferente e frequentemente mais complexo.

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-900 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.