원리를 이해하려고 라이브러리 안 쓰고 구현하려고 합니다.
2층 Layer에 첫 번째 노드를 A1.0이라고 가정한다면
A1.0 = Activate(A0.0*W0.0 + A0.1*W0.1 + A0.2*W0.2 + A0.3*W0.3 + Bias)
에서 Bias는 각각의 노드에 다른 값을 설정 해줘야 하는건가요?
아니면 Bias는 고정된 값을 갖나요?
----------------------------------------------------------------------------------
https://gall.dcinside.com/mgallery/board/view/?id=deeplearning&no=307
어제 질문에서 답변 주신 분 감사합니다 ~
다른 값
일단 같은층의 mlp에서는 같은 bias를 사용함 즉 A1.1,A1.2노드 모두 같은 bias를 사용합니다. 하지만 A0.0이나 A1.1같이 다른 층의 노드 같은 경우에는 다른 bias를 사용합니다. 또한 보통 bias는 학습시키기전에 0으로 초기화합니다.
https://t1.daumcdn.net/cfile/tistory/2274563558AC42131B
이쪽
이미지 보시면 도움이 될거에요.
https://t1.daumcdn.net/cfile/tistory/2274563558AC42131B
감사합니다!!