심심해서 요즘 유행하는 신경망알고리즘의 기초 수학적 원리를 써봄.


딥러닝이라고 불리는 (신경망알고리즘, Neural Network)의 기초 수학적 원리를 써봄. 소위 Universal approximation theorem 이라고 부름.


내용을 한문장으로 요약해서 간단하게 말하면 "뉴럴네트워크는 임의의 컴펙트한 구간에서 어떠한 연속함수든 근사할 수 있다"는 내용임.


증명은 여러가지 접근법이 있는데, 그 중에서 가장 깔끔한 Hahn-Banach 정리를 이용한 증명을 소개할께. 일단 간단하게 기초 terminology를 아래처럼 정의하고.




간단한 1-레이어 신경망 알고리즘을 정의해보자.



그 다음은 증명에 필요한 discriminatory function을 다음과 같이 정의하면




머신러닝에서 요즘 핫한 신경망 알고리즘의 수학적인 기본정리 UAT를 얻을 수 있음.





이건 예전에 html 라텍 링크 이용해서 썼던건데... 이젠 DC에서 라텍 링크 걸면 자동으로 삭제되더고, 내용도 안나오더라.


다음에는 머신러닝의 이론적 기반인 Probably Approximately Correct (PAC) learning 과 Vapnik-Chervonenkis (VC) dimension의 기초적인 내용을 소개해볼께.