[💡정보] 수학으로 보는 딥러닝의 기초원리

[익명(23.119)]

와 이런 갤러리가 있었네 ㅎㅎㅎ

ㅎㅎㅎ예전에 수잘갤에 올렸던거 다시 재업해봄

딥러닝이라고 불리는 (신경망알고리즘, Neural Network)의 기초 수학적 원리를 써봄. 소위 Universal approximation theorem 이라고 부름.

한문장으로 요약해서 간단하게 말하면 "뉴럴네트워크는 임의의 컴펙트한 구간에서 어떠한 연속함수든 근사할 수 있다"는 내용임.

증명은 여러가지 접근법이 있는데, 그 중에서 가장 깔끔한 Hahn-Banach 정리를 이용한 증명을 소개할께. 일단 간단하게 기초 terminology를 아래처럼 정의하고.

간단한 1-레이어 신경망 알고리즘을 정의해보자.

그 다음은 증명에 필요한 discriminatory function을 다음과 같이 정의하면

머신러닝에서 요즘 핫한 신경망 알고리즘의 기본정리 UAT를 얻을 수 있음.

그러면 퀴즈!

Proof that sigmoid and ReLU activation functions are discriminatory.

[지잡컴공(wlwkqzjarhd)]

좋은 글 감사합니다~ 자주 올려주세요~~ (퀴즈는 다른 분들께 맡깁니다 ㅎㅎ)