DNN 원리를 이해하고자 직접 구현하려고 합니다.

그 과정 속에서 궁금한 점 몇 가지 질문 드리려고 합니다.


1) 1층의 node가 4개 2층의 node가 3개라면 1층의 각 노드는 3개의 weight값을 가져야 합니다. (a0 = [w0.0, w0.1, w0.2, a1 = [w1.0, w1.1, w1.2)... )

he initialization을 이용하여 가중치 초기화를 구현하려고 하는데, 층마다 각각의 node가 가지고 있는 weight값은 같아야 하는 건가요? 달라야 하는 건가요?

달라야 한다면 he initialization의 식인 sqrt(2/n)으로 각각의 node의 weight 값을 다르게 설정 하는 방법은 무엇입니까?


===========



https://gall.dcinside.com/mgallery/board/view/?id=deeplearning&no=307&s_type=search_subject_memo&s_keyword=ANN&page=1

https://gall.dcinside.com/mgallery/board/view/?id=deeplearning&no=317&page=1

https://gall.dcinside.com/mgallery/board/view/?id=deeplearning&no=330&page=1


지난 질문에 답변 주신 분들께 진심으로 감사드립니다 !