timernn이 T개의 Rnn을 묶어 놓은건데 역전파를 보니 T개의 기울기를 다 더하더군요
T개의 rnn을 각각 Wh,Wx,b 가중치 편향을 따로따로 업데이트 안하고 다같이 더해서 업데이트 한다는건
T개의 Rnn위 초기값 Wh,Wx,b 가 모두 같게 부여가 되고
업데이트시에도 T개의 모두 더한 wh,wx,b의 기울기로 업데이트 하니 몇번을 학습하던 T개의 RNN 가중치와 편향은 같은건가요?
그렇다면 T개의 RNN을 각각 초기값을 안주고 각각 업데이트 안하는 이유는 계산량이 T배 늘어나고 저장공간도 T배 늘어나기 때문인가요? 아니면 과적합 때문인가요?
책만으로 공부하니 명확히 이해하기가 어렵네요
T개의 rnn을 각각 Wh,Wx,b 가중치 편향을 따로따로 업데이트 안하고 다같이 더해서 업데이트 한다는건
T개의 Rnn위 초기값 Wh,Wx,b 가 모두 같게 부여가 되고
업데이트시에도 T개의 모두 더한 wh,wx,b의 기울기로 업데이트 하니 몇번을 학습하던 T개의 RNN 가중치와 편향은 같은건가요?
그렇다면 T개의 RNN을 각각 초기값을 안주고 각각 업데이트 안하는 이유는 계산량이 T배 늘어나고 저장공간도 T배 늘어나기 때문인가요? 아니면 과적합 때문인가요?
책만으로 공부하니 명확히 이해하기가 어렵네요
RNN이 하나의 구조물을 돌려쓰는거라 그런거임