시나리오가긴 딥러닝에대한 심층적인 강화학습을 접목시켜 reward를 설계해본다. 그래서 어떤 궁리를 해볼까? 이렇게 접근해보자. reward에대해서 일체 궁리하지않는것이다. 학습량으로 밀어서 마르코프 프로세스를 작동시킨다. 그러다보면 V(state) Q(value)로 보다 정밀하게 나타낼수있다. 그럼 마지막에는 completely sparse reward만 남는다.
강화학습은 보통 시물레이션을 필요로한다. 많은 학습량은 많은 시물레이션으로 이어진다. 인생은 유한하다. 시간은 돈이다.
예를 들어 바둑의 150만 경기를 RTX3090 으로 딥러닝한다고 했을때 얼마나 걸릴까? 계산기를 두드려보면 5년정도 나온다고한다. 전기세가 얼마나 나올지는 대충감이온다.
상기대로, 개인이 준비할수있는 컴퓨터 환경으로 시물레이션을 돌리는것은 시간이 너무 오래걸린다. 일본소설 명인전에서는 다음과같이 말한다. 화살없이 표적에 맞추라. 여기에 딱맞는 방식이있다. 그것은 시물레이션이 필요없는 오프라인 강화학습이다. 방식으로는 implicit Q-learning(IQL),conservative Q-learning(CQL) 대표적으로 다음과같이 두가지가있다.  전자가 의사결정코드가 7행이라고해서 "훌륭하다!" 라고 생각한ㄷ 아래 논문을 참조한뒤 파이토치로 구현해보았더니 1500행이었다.(ㅅㅂ)
https://arxiv.org/abs/2110.06169
Offline Reinforcement Learning with Implicit Q-Learning
무튼 효율적인 방법으로 접근하는 방법들을 시도해보자.