내가 추측한 바로는
예를들어 걷는 인형이 멀리 걸어가면 보상을 준다고 했을때
여러 시행착오를 거쳐서
어떤순간일때(입력) 어떻게 근육을 움직이면(출력,답) 앞으로 걷는다
라는 사실을 알아내고
저 알아낸 "어떻게 근육을 움직이면"이라는 출력을
신경망에 역전파로 학습시키는거 아님?
만약 내말이 맞다면
신경망에 답으로 제공하는 출력은 강화학습의 결과물 아님?
내말은 역전파로 학습시키려면 강화학습에서의 시행착오에서 얻은 결과(출력,답)이 필요하므로
역전파에다가 따로 강화학습을 적용시킨다는 건 무의미하고
역전파로 학습한다는거 자체가
보상을 받았던 행위를 답으로 사용하는거기 때문에
"역전파는 보상받았던 행위(답,출력)을 학습한다"
라고 할수 있지 않나?
- dc official App
역전파는 별거 아님. 그냥 loss값 최소화하는 방법을 수치해석적으로 찾는 방법중에 기울기를 구해서 계속 업데이트하는 아주 구식적인 방법임. 신경망구조에서 이 기울기 찾는 효율적 방법이 역전파일뿐. 강화학습에서는 신경망은 기억하는데 쓰이지. 이때 기울기 구해서 신경망을 업데이트하는게 역전파일뿐이고.
강화학습은 어떤 사실을 알아내서 적용하는게 아니라 그냥 reward를 최대화 시키는 action을 찾는게 목적임 대표적인 강화학습 모델인 DQN에서 네트워크는 주어진 state의 q-value를 출력하고 q learning을 기반으로해서 업데이트 해야할 value와 네트워크의 출력 차이를 cost로 해서 역전파하는것일 뿐임
강화학습은 좋은 강의 많이 있어서 몇개 들어보면 개념 확실하게 잡을수 있을거임
너무 교양같은 걸로만 공부하면 사이비 된다
걍 글쓰는거 보니 전반적으로 공부 방식 자체가 잘못되어 있는거 같음. 극도로 단순한 개념을 학자들이, 책이 괜히 어렵게 설명해서 니가 이해하기 어려운게 아니라 실제로 그 개념의 본질 자체가 어느정도 복잡성을 띄고 있는거임. 니가 이해하기 어렵다고 그 개념을 너가 단순하게 이해 가능한 레벨로 "멋대로" 떨어뜨리는게 맞는지 다시 한번 생각해보길.
어차피 이해못할거 망상이라도 하겠음 - dc App
아니 그냥 좀 이런건 이론서를 참고해라 뭐 쓸데없이 추측하고 앉았냐 - dc App
지식과 경험에 근거하지 않은 추론은 백에백은 틀린결론이 나온다 - dc App