인공신경망 하나에서 모든 레이어에 같은 옵티마이저를 써야 함? 레이어마다 다르게 쓰는 줄 알고 구현하다가 갑자기 텐서플로우 잠깐 만지작거렸을 때 그렇게 했던 것 같다고 생각남. 책에서 그런 건 안 가르쳐 줘서.
그리고 여러 번 다른 옵티마이저를 써서 학습시켜도 됨? 예를 들어 데이터 100개는 sgd 100개는 모멘텀 이런 식으로..
인공신경망 하나에서 모든 레이어에 같은 옵티마이저를 써야 함? 레이어마다 다르게 쓰는 줄 알고 구현하다가 갑자기 텐서플로우 잠깐 만지작거렸을 때 그렇게 했던 것 같다고 생각남. 책에서 그런 건 안 가르쳐 줘서.
그리고 여러 번 다른 옵티마이저를 써서 학습시켜도 됨? 예를 들어 데이터 100개는 sgd 100개는 모멘텀 이런 식으로..
그렇게 해야하는 이유가 젤 중요하지 - dc App
이유랑 같이 알려줘 그럼 ㅠㅠ 검색해도 안나옴
아니 니가 옵티마이저를 다르게쓰고싶다며 그 이유가 중요하다고 남들 하는대로 안할려면 근거가필요하잖아 - dc App
남들이 어떻게 하는지를 몰랐음. 여러 개 섞어 쓰면 장점이 합쳐질 수도 있지 않을까 생각했음.
옵티마이저 선언할때 업데이트 할 모델 파라미터 넣잖아 그걸 기준으로 백 프로파게이션을 하는데 나뉘어져 있으면 안흐르겠지? GAN에선 제네레이터랑 디스크리미네이터랑 옵티마이어 따로 쓰긴 함. 로스 함수가 각각 있으니께
그레디언트 따로 구하고 파라미터 갱신 따로 하면 안됨?
보통 optimizer 하나로 다 학습하는게 국룰. 힌튼이 이번 뉴립스에서 발표한 forward-forward 알고리즘이 레이어마다 local한 loss를 줘서 backprop없이 학습하는건데 이게 그나마 원하는거랑 비슷할수도?