제로베이스 늅늅 내가 이해한건 파라미터 업데이트 과정에서
정답지(타겟)와 추측지가 똑같이 Q파라미터를 사용해서
업뎃할때 재귀적(?)으로 문제가 생길수 잇어서
타겟네트워크를 사용해야 된다 이런내용인거같은데
이해한바로는 타겟네트워크가 정답지를 고정하고 몇천번 업데이트에 이용한다음 다음타겟으로 바꾸기인거같은데
이래도 됨;;? 애초에 정답지를 고정하고 추측지만 바꾸면
그게 그 추측지에 대한 정답지라고 부를 수 있는건지 ..
내머리로는 걍 이상한 업뎃될거같은데;;
머리아프다..
예전에 내가 강화학습 독학하면서 기록해놓은거: 부트스트랩의 문제점은 업데이트의 목표가 되는 정답이 계속 변한다는것. 그런데 정답을 내는 인공신경망 자체도 계속 업데이트 되면 부트스트랩의 문제점은 더 심해질것임 이를 방지하기위해 정답을 만들어내는 인공신경망을 일정시간동안 유지.
타겟 네트워크를 이해하려면 먼저 앞부분 내용인 몬테카를로와 td 를 이해해야해. 타겟네트워크를 보통은 td로 구하는데, 몬테카를로나 td를 통해 정답에 수렴할수 있다는 가정하에 value approximation 하는거거든.
이런건 깊게파면 안됨. 걍 그렇게하면 이론적으로 더 학습이 안정되지 않을까? 하고 걍 햐봤더니 실제로 결과가 좋은거임. Ai가 다 이런식이지 뭐
왜 그렇게 나왔는가? 를 찾는게 공학자지 뭐
TD (Time Delay) 기법이나 MCTS로 target구하는 기법이나 정답에 수렴한다는 건 증명되어 있는거로 암. 그래서 난 그걸 믿기로 했지.