https://untitledtblog.tistory.com/139 이 사이트를 참고하며 공부 중 이해가 안가는게 몇가지 있습니다.
1. R(s) = E[Rt+1|St= s] 라는데 현재 상태의 reward 를 받는거 아닌가요?
E[Rt+1|St= s] = Rt+1 일텐데 왜 굳이 기댓값을 씌우는지 이해가 안갑니다.
2. 아래 이미지 보시면 Rπ(s) = Σπ(a|s)r(s,a) 인데 r(s,a) = E[Rt+1|St= s, at = a] 일테고 현재 상태에서 어떤 액션(a)를 취하든 무엇이 나오든 현 상태 보상을 받아오면 Rt+1 로 생각됩니다. 굳이 r(s,a) 로 표기한 이유는 멀까요?
3. π(a|s)는 왜 곱해주나요? 이미 값이 현재 상태의 보상을 받아오는 상수 값인데 굳이 저렇게 기댓값을 확률 * 보상으로 표시하는지 도저히 이해가 안가네요 ㅜㅜ
1. stationary라고 했을때 일반적으로 reward는 s_t, a_t, s_t+1이 주어져야 r_t+1으로 쓸 수 있는데, 저 식에서는 state만 주어졌기 때문에 현재 state s에서 어떤 action을 취하는지에 따라 reward가 달라질 수 있고, 또 action이 정해져도 transition probability에 따라 어떤 s_t+1에 도달하는지는 확률적으로 정해지기 때문에 여기서도 확률적으로 reward가 정해짐 그래서 기댓값으로 표기하는거
2. 이거도 1번이랑 비슷한 내용인데 "현 상태의 보상을 받아온다" <- 이 내용 보니 reward를 조금 다르게 이해한거 같네 현 상태의 보상을 받아온다는 개념이 아니라, state s에서 action a를 하고 다음 state s'에 도달 했을때 받는 reward임 그래서 1번에서도 말했지만 reward가 정해지려면 s,a,s' 쌍을 알고 있어야 하고 여기서는 s,a만 알고 있으니까 reward가 확률적으로 정해지므로 r(s,a)라고 표기한거
3. π(a|s) 곱해주는 이유는 마찬가지로 아직 s만 알고 a를 모르기 때문에 π(a|s)로 확률적으로 a를 정해주는거 여기서 아직 s'도 모르는거 아니냐 할 수 있는데 r(s,a)에는 P(s'|s,a)가 포함되어 있고, 뒷쪽 V(s') 항에도 P(s'|s,a)가 곱해져서 확률적으로 s'이 정해진거니 식이 성립함
R(s) -> s가 주어졌을 때의 a,s'에 대한 random variable R_{t+1} -> random variable이므로 기댓값을 구할 때 r(s,a,s')혹은 r(s,a)로 표기