마르코프 결정과정 (Markov Decision Process, MDP)

개요에이전트는 상황이 변하는 것을 고려하여 최선의 수를 두어야 함.Agent의 상황 = State (현재 상태)눈 앞의 보상이 아니라 미래에 얻을 수 있는 보상의 총 합을 고려해야 함. (보상의 총합을 극대화)상태 $s_t$에서 행동 $a_t$를 취했을 때 얻을 수 있는 보상 $r_{t+1}$, 다음 상태 $s_{t+1}$ 마르코프 성질현재의 정보만 고려하는 성질 (어떤 상태들을 거쳐왔고, 어떤 행동들을 취해왔는지는 신경쓰지 않음.)MDP는 마르코프 성질을 만족한다고 가정하고 상태전이와 보상을 모델링 PolicyAgent가 행동을 결정하는 방식환경에 대해 필요한 정보는 모두 현재 상태에 있음. (MDP)결정적 정책 $\mu(s) = a$확률적 정책 $\pi(a|s)$ Agent는 정책에 따라 행동하며, ..

• format_list_bulleted 딥러닝 기초/Reinforcement Learning
• · 2025. 2. 14.
• textsms

밴디트 문제 (multi-armed bandit problem)

밴디트는 오락실의 슬롯머신을 의미합니다.슬롯 머신의 목표는 코인을 최대한 많이 얻는 것이죠! 밴디트 문제에서는 무작위성에 현혹되지 않게 '기댓값'을 기준으로 평가합니다.만약 각 슬롯 머신의 가치(보상 기댓값)을 알면 플레이어는 가장 좋은 슬롯 머신을 고를 수 있음하지만 실제로는 슬롯머신의 가치를 모름각 슬롯 머신을 돌려보며 가치를 추정 (가능한 정확하게) 해야 함따라서 밴디트 문제에서는 greedy 알고리즘과 epsilon 탐색을 통한 문제 풀이를 진행합니다. Bandit Problem 플레이어는 가치 추정치가 가장 높은 머신을 선택해야 합니다. (Greedy Policy 이용)exploitation : 지금까지 실제로 플레이 한 결과를 바탕으로 가장 좋다고 생각되는 슬롯 머신을 플레이(greedy)ex..

• format_list_bulleted 딥러닝 기초/Reinforcement Learning
• · 2024. 11. 21.
• textsms