스케일이 정말 전부인가?



7ff3c028e2f206a26d81f6e445867265bb



(그림1 - 인간의 뇌)


지능이란 무엇인가?


이것을 정의 내리긴 어렵다.

인간은 고도화 된 지능으로 문명사회를 건설하며 모든 동물을 지배하는 지구1짱 자리를 차지하게 되었다.

하지만 우리도 이러한' 지능이 어떻게 해서 탄생하게 된것인가'?는 알수가 없다.


다만 추정하기로는 진화의 과정

즉, 점점 스케일이 커지는 형태로 진화하면서 어느순간 문명을 건설할 정도의 지능이 발현됐다고 추정한다.

그러니까 초기 파충류의 뇌에서 진화->거기에 포유류의 뇌부분이 추가->또 거기에 인간의 뇌를 담당하는 대뇌피질이 추가되면서

우리가 이렇게 다른동물들보다 다른 지능을 갖게 됐다는 것이다.


그렇다면 AI에게 이것을 적용하면 어떨까?








7cf3c028e2f206a26d81f6e746877664fc


(그림2- 모델스케일에 따른 AI모델들의 성능향상)



놀랍게도 AI에게서도 이러한 현상이 나타나는것으로 추정된다.

이것을 갑작스런 능력이라고 부르는데 어떠한 모델이든 간에 스케일이 10의 22승만 되면 갑자기 성능이 비약적으로 향상 되는것을 볼수있다.

즉, 10의 21승 까지는 지능이라고 부르기 뭐한 그 무엇인가 였다가 10의 22승이 되는순간 법학도 풀고 수학도풀고 말도 잘하는 AI가 됐다라는 것이다.


이것을 일부학자들은 지능의 출현이라 보고있다.

인간이 뇌의 스케일을 늘려 똑똑해진것처럼 AI도 스케일이 커지면 인간처럼 똑똑해 질수있다! 라는 것이다


즉 AGI의 출현은 오직 스케일에 달렸다는 것이다.


이것을 얼마전 구글을 퇴사한 제프리 힌턴의 발언을 인용하자면 다음과 같은 실험을 언급한다.

-----------------------

다음 두 문장이 있다.


(문장1)

이게 너무 커서 가방에 트로피가 안들어가


(문장2)

이게 너무 작아서 가방에 트로피가 안들어가

-----------------------


다음의 2개의 문장이있다.

문장1의 이게 와 문장2의 이게는 어떤차이가 있는가?

문장1의 이게는 문맥상 트로피로 생각되고 문장2는 가방으로 추정된다.


GPT는 다음에 올 단어의 확률로 문장을 생성하는AI의 불과하다

GPT는 저 미묘한 차이를 알까? 라는 것이다.

이것을 알수있는 방법이 있다. 프랑스어는 모든 단어에 성별이 있다. 가방은 여성명사, 트로피는 남성명사다.

저 문장을 프랑스어로 번역하자, GPT는 정확히 저 차이를 잡아냈다.

즉 문장에 뉘앙스를 알아챈것이다. 제프리 힌턴은 이정도면 '문장을 이해 하고있다'고 봐야된다라고 했다














7ef3c028e2f206a26d81f6ec4686766b



하지만 스케일이 답일것 같았던 이 가정에 균열이 생겼다.

GPT4까지 스케일만 늘리던 샘알트만이 불현듯 스케일을 늘리는것이 답이 아니라 발언한것이다.


즉, 어느순간 까지는 스케일만 늘려도 성능이 올랐으나 어느지점부턴 지지부진하다는 것이다.

(빙과 관련된 마이크로소프트 AI엔지니어가 대학강연에서 1조개의 파라미터를 언급한걸로 봐서 1조개로 추정된다)


그러면서 다시 새로운 패러다임을 찾던지 옛날 알고리즘을 다른방식으로 조합해야 한다고 주장한다.

정말로 스케일은 답이 될수가 없는가? 지금 AI발전은 이 길에 서있다.