우선 이 글은 통계 갤에 먼저 올린 질문이라 중복으로 보시는 분들께 죄송합니다.
...
선질문 : 신경망의 한 레이어를 glm으로 봐도 되나요
제가 컴공에서 신경망 공부하고있습니다. 인공신경망을 통계적으로 보고싶어서 이것저것 알아보다보니.. glm (generalized linear model)이라는걸 알게됐습니다.
glm의 구조가 선형회귀의 종속변수를 링크함수에 통과시키던데요. 이 구조가 인공신경망의 한 레이어에서 일어나는거랑 너무 똑같아서요.
위 질문에 대한 대답이 '네'라면, 혹시 좀 더 통계적으로 바라볼 수 있도록 관점을 넓힐 수 있는 답변을 주시면 감사드리겠습니다.
감사합니다.
아니요, 애초에 linear model이면 레이어를 쌓지 않는게 더 효율적임 다만 신경망의 마지막 레이어는 고정된 비선형 변환들의 선형 조합으로 표현되게 되는데 이 부분을 커널 메소드와 유사하지 않냐고 물어보면 그건 맞는 접근법임
아 넵 후자를 질문한겁니다. 전자는 링크함수(또는 액티베이션 함수)가 선형함수면 결국 선형회귀와 동일해지기(조금 조심스럽습니다) 때문에 의미 없는걸로 알고있습니다. 답변 감사드려요.
후자 내용이 궁금한거면 이상한거 공부할게 아니라 그냥 ntk 공부하면됨 아니면 페드루 도밍고스의 "Every Model Learned by Gradient Descent Is Approximately a Kernel Machine"이 더 쉬울수도
와 후자 제목 엄청 끌리네요... 서적 추천까지.. 감사합니다!