이글은 내가 수잘갤 및 프갤에 심심해서 예전에 썼던거 다시 올리는거임.
라텍 수식을 html 스크립트로 쓰면 엉망이라서 폰트 사이즈 및 라인이 맘대로 바뀌는건 이해해줘. 물론 지금은 아예 링크가 안걸려서... 이건 그냥 그림으로 캡쳐함. 다음주제는 시간나면 완전히 라텍을 그림으로 다시 저장해서 깔끔하게 만들 예정임.
딥러닝이라고 불리는 (신경망알고리즘, Neural Network)의 기초 수학적 원리를 써봄. 소위 Universal approximation theorem 이라고 부름.
내용을 한문장으로 요약해서 간단하게 말하면 "뉴럴네트워크는 임의의 컴펙트한 구간에서 어떠한 연속함수든 근사할 수 있다"는 내용임.
증명은 여러가지 접근법이 있는데, 그 중에서 가장 깔끔한 Hahn-Banach 정리를 이용한 증명을 소개할께. 일단 간단하게 기초 terminology를 아래처럼 정의하고.
간단한 1-레이어 신경망 알고리즘을 정의해보자.
그 다음은 증명에 필요한 discriminatory function을 다음과 같이 정의하면
머신러닝에서 요즘 핫한 신경망 알고리즘의 수학적인 기본정리 UAT를 얻을 수 있음.
이건 예전에 html 라텍 링크 이용해서 썼던건데... 이젠 DC에서 라텍 링크 걸면 자동으로 삭제되더고, 내용도 안나오더라.
다음에는 머신러닝의 이론적 기반인 Probably Approximately Correct (PAC) learning 과 Vapnik-Chervonenkis (VC) dimension의 기초적인 내용을 소개해볼께.
개추
그 궁금한게 1-layer에 갯수 늘리는거랑 층을 깊게파서 개수 늘리는거랑 둘 사이의 표현력이 동등하다거나 성능 차이가 어떻게 된다거나 하는걸 수학적으로 잘 설명이 가능한가요? - dc App
위의 정리는 infinite width 일때 성립되고, 이걸 유한으로 줄이는 연구는 지난 20년간 여러 논문이 있음. 레이어를 늘리는 케이스는 가중치 초기 값에 몇몇 assumption을 넣으면 소위 Gaussian Process와 연결해서 설명할 수가 있는데, 시간나면 이 분야도 연재해볼께
보통이런건 어디서배우나요 ML쪽이나 아님 TCS에서 막 수학가지고 뭐 하는거 볼때마다 수학과 가고싶어지는 CS학부생인데 머학원을 응용수학으로 가면 취향에 맞으려나...
위의 내용은 머신러닝 이론서엔 대부분 한줄로 적혀 있음. 머신러닝 이론관련 전공하면 깊게 배울 수 있음. 이 분야는 구글 브레인, 마소, CMU, 로잔 공대등이 주도적으로 연구하는 분야. 한국에 연구하는 곳이 거의 없을거임
오 감사합니다
한바나흐는 선택공리 기반이라 정량적인 관점에서 좋은 답을 줄질 모르겠음
한-바나흐 정리가 성립되지 않는 체계에선 measure를 정의가 가능한지 모르겠다. 정리 자체는 aoc 보다 weak 한 세팅에서 ultrafilter 이용해서도 증명 가능
응용 관점에선 얼마만큼의 정보(리소스)로 얼마만큼 근사가 가능한지에 관심이 있는데 무한을 껴버리면 흩어지니깐
countable aoc 같은거로도 nn에 대해 말해줄 수 있나? 이런건 쫌 흥미로울텐데
괜히 쓸때없는 소리했네 연재 기대할게
스톤-바이어스슈트라스 이용해서도 증명가능. 위의 증명은 cybenko 의 1989년 증명, Honik 등 도 1989년에 스톤-바이오슈트라스 정리 이용해서 증명했음. 선택공리를 부정하면 측도론의 주요 정리 중 많은게 날라가서 머신러닝 이론의 많은 핵심 정리가 날라가는 거라서... 생각하기도 싫다 ㅋ