[❓질문] MDP내 모든 pi에 대해 pi*>pi를 만족하는 pi*가 반드시 존재?

[익명(114.71)]

RL policy 보면 그렇게 나오는데

이게 어디서 나온 정리임?

출처를 아무리 찾으려해도 못찾겠다...

오히려 어떤 상태 s가 존재하고, 그 상태에서 어떤 정책 π가 존재하여 최적 정책의 가치가 해당 정책의 가치보다 작을 수도 있는 반례 하나만 찾으면 논파되는 정리 아냐?

[익명(106.102)]

pi*>pi가 아니라 v*>v나 q*>q인 pi*가 존재한다는거 아니냐? 그리고 애초에 pi*의미 자체가 가치를 최대로하는 정책인데 어떻게 pi*보다 v나 q가 높은 케이스가 존재하겠냐

[익명(114.71)]

ㅇㅇ 그거 마치 공리처럼 쓰이는데 도대체 출처가 어디임? 증명 논문이 뭐야?

[익명(106.102)]

공리가 아니고 최적 정의 자체가 그렇다는거고 최적 정책이 존재함은 모든 상태에 대해 최적인 정책이 존재할수 있다는 의미임.
https://www.sciencedirect.com/science/article/pii/0304414975900319

[익명(223.62)]

pi*가 극한으로 정의되냐? - dc App

[익명(180.182)]

바나흐 고정점 이론 이용하면 됨. 유한 공간에서 (리워드, L-inf)라는 거리 공간으로 정의하고 벨만 연산자가 축약사상으로 Optimal한 Value function이 존재함을 보장할 수 있음

[익명(180.182)]

*벨만 연산자 -> 최적 벨만 연산자