주의: 비전공자는 이해 못할 수도 있음
인간의 뉴런은 실무율을 따름.
즉 자극을 전달하거나, 하지 않거나만 있을뿐 신호에는 강도가 없음.
이거때문에 초창기 AI에서 sigmoid 함수흘 활성함수로 쓰려고 했던거임.
Sigmoid 함수가 실무율을 나타내는 함수와 유사한 면이 많거든.
근데 결국 ReLU를 쓰는게 많은 문제도 해결되고, 훨씬 좋다고 밝혀짐.

그 이유는 단순하다면 단순한데 AI는 universal approximator이기 때문임.


여기에서 미켈란젤로가 한 말을 다시 살펴볼 필요가 있음.
'나는 대리석 속에 갇힌 천사를 보았고, 그가 차가운 돌 속에서 풀려날 때까지 돌을 깎았다'
한 마디로 조각상은 깎지 않고 남아있는 부분이니 조각상의 원래 모습은 대리석 속에 이미 있었다는 미친 얘기임.

Ai도 마찬가지임. AGI, ASI라는 함수는 존재함.
다만 우리는 그걸 아직 찾아내지 못했을뿐임.
지금 대부분의 연구들은 한정적인 훈련 데이터만 가지고 어떻게 접근하면 그 ASI라는 함수를 근사할 수 있을지 찾아가는 과정이라고 보면 됨.
결국 ASI 함수는 구불구불 복잡하게 생겼을텐데 최종적으로는 이걸 AI를 가지고 질 표현해야하는거지.
그리고 AI의 표현력은 파라미터 개수에 따라서 올라간다.
생각해보면 너무 당연한 얘기인데, 복잡한 커브를 직선들로 나타낸다고 하먼 직선 다섯개보다는 직선 천개로 따라그리는게 더 정확한거랑 똑같음.

그래서 결국 AI 모델은 우리가 아직 알지못하는 ASI라는 함수를 interpolation한 근사 함수라고 볼 수 있음.
Interpolation에서 중요한건 정확도 차수임.
불연속 상수함수로 근사하면 0차 정확도라서 아주 많은 파라미터가 필요함.
연속 1차 함수로 근사하면 1차 정확도라서 0차보다 파라미터가 훨씬 덜 필요함.
(차수를 더 높일수록 필요 파라미터가 줄어들지만, 불안정성이 매우 크게 증가함)

다시 돌아가보자. 인간의 활성함수는 step function임. 0차 함수임.
ReLU는? 1차 함수임. 바꿔말하면 인간의 입력-출력을 interpolation하는데에 인간의 뉴런 및 시냅스 개수보다 훨씬 더 적의 수의 파라미터가 필요함.