군대 갈 날이 얼마 안 남아서 갈루아마냥 AGI 아이디어를 짜내고 있는 특붕이임

내가 갈루아급인지는 잘 모르겠지만 암튼


1. 계단함수를 쓰자
신경 세포만 봐도 임계치가 있어서 그걸 넘어가면 활성화됨.
계단 함수가 좋은 점은 ReLU랑 비슷한데,

non-jmp 최적화가 가능하다는거임.
(a>b) * c 꼴로 if 문을 대체할 수 있다는거임.
지수함수 잔뜩 들어간 함수보다 빠른 건 당연하고
그리고 ReLU보다 좋은 점은 유계라는거임. 끝이 있음.
그래서 정규화 관련해서 생각할 게 적음.

학습 관련해서 미분할 것도 없으니까 편하고

딥러닝 원리 설명하는 책들은 항상 계단함수를 깜.

미분 가능하지 않아서 매끄러운 학습이 어렵다는 까닭임.
하지만 그런 단점은 정규분포 랜덤을 더하는 방법으로 해소할 수 있음.
Bias처럼 초기화로 랜덤을 더하는게 아니라 실시간 랜덤

그러면 문제가 항상 같은 답이 나오지 않는다는 건데
이건 다르게 생각해보면 어떤 수렴하는 체에서 문제가 항상 해결 될 거라는 믿음이 있기 때문임.
하지만 이건 허상임. 모든 문제를 해결할 수 있는 수학적 구조는 존재할 수 없음.

불완전성 정리(정지문제) 관련한 직관인데 만약 이게 사실이라면

우리는 언젠가는 랜덤의 도움을 받아야 함.

그렇지 않으면 사람의 도움 없는 능력의 확장은 기대하기 어려울 듯
AGI는 프로그램을 짜야지 프로그램이 되면 안됨.

2. 연산의 크기를 줄이자
완전 연결된 레이어는 너무 과도한 감이 있음.

2eb2c232e0ca75aa6fa6d3a7059f2e2df520c4956f7d321a28e2e520

대뇌 피질의 구조임.

대뇌피질을 잘랐을 때의 모습인데
Golgi는 세포가 온전히 나온 모습,

Nissl은 잘린 세포의 모습,

Weigert는 연결된 신경 섬유의 모습임


신호는 위에서 아래로 가고

아래에서 Brain fiber들을 통해 다른 구역으로 이동함
보면 하나의 신경이 영향을 받는 대상은 자신의 위에 있는 몇개의 뉴런밖에 없음.
마치 컨볼루션처럼.

컨볼루션이랑 다른 점은 이전의 이전 레이어에서도 영향을 받는다는거겠지.
암튼 중요한 건 우리가 지금 연결하고 있는 뉴런은 너무 많을 수 있다는거임.

우리는 수학적으로 모든 함수를 표현할 필요가 없음.
적당히 좋은 근사로 충분함. 더구나 랜덤이 도와주니까.

스케일의 척도로 보통 파라미터 수를 표시하는데
이렇게 적당한 수준으로 축소시키면
현재 파라미터 수의 10~1000배는 뻥튀기 되었을 수 있음.
그리고 그 남는 연산 능력만큼 다른데 투자할 수 있겠지
물론 TPU를 쓰기는 어려울 수도 있겠지만




군대 갔다 와서는 그냥저냥 취직을 하려고 함.
돈 없이 독자연구 하는 건 너무 괴롭고 외로운 일임.
그렇다고 딥마인드 성님들에 비해 대단한 것 같지도 않고

그래도 AGI에 기여하는 사람이 됐으면 하는데
모르겠다 일단 살다보면 어떻게든 되겠지 뭐