또는 AGI가 단기간에 불가능하다고 생각하는 이유.


---


우리 인간이 육손벤치를 통과하는 과정을 생각해보면

LLM이 정보를 처리하는 과정과 근본적으로 다름.


인간은 머릿속에 간단한 2D 그리드를 호출해 가져다놓고

구불구불하고 형태가 다른 손가락 하나하나를 

"작대기"라는 동일한 기하학적, 추상적 개념으로 단순화해

2D 그리드에 하나씩 가져다놓을 때마다 하나씩 카운팅하면서

결국 손가락이 6개라는 사실을 쉽게 파악하는데


이처럼 우리 뇌는

기하학적 사고를 담당하는 별도의 영역을 활성화하고

언어적 사고 <-> 기하학적 사고의 상호작용을 하기에

멀티모달 능력이 최적화된 형태라고 볼 수 있음.


그러나 ChatGPT, Gemini 등

트랜스포머 구조의 LLM, VLM은 언어적인 사고 능력에 최적화되어 있어서

이미지조차 순차적이거나 일방향적인 1D 구조로 펼쳐놓고 텍스트와 동일한 방식으로 해석함.

(기술적으로는 2D PE 등이 이를 보완해주긴 하지만, 그래프처럼 sparse, discrete, explicit한 성질이 부족함)


이런 방식은 텍스트 정보를 처리하는 데 효과적이나

양방향 그래프의 성격을 지니는 기하적인 사고를 하기 위해서는

이러한 기능에 특화된 별도의 사고 모델과 메모리를 구현할 필요가 있어 보임.


이러한 사고의 핵심은

1) 시각/텍스트 개념을 기하학적 그래프 개념으로 치환하는 것

2) 그래프를 이해하는 것

3) 그래프를 다시 시각/텍스트 개념으로 변환하는 것


여기서 가장 연구가 덜 된 영역은 1)일텐데

앞으로 오랜 연구가 필요할 거라고 생각함.


그나저나 이걸 어떻게 뉴럴넷으로 구현하냐?

껍데기는 트랜스포머와 비슷하더라도

본질적으로 GNN (그래프 뉴럴넷) 의 형태여야 할텐데

이미 GNN 연구는 많이 이루어져 있기에 맨땅에서 시작하는 느낌은 아닐 것임.


LLM이 필요한 시점에 파이썬 코드, 계산기, 검색엔진을 호출하듯이

필요할 때 그래프 모델을 호출하고 사용하게 될 것임.

그러면 육손벤치, 화살표벤치 모두 인간처럼 너무 쉽게 해낼 수 있을 것임.


요즘 보면 체스 같은 보드게임을 LLM에 가르쳐보려고 애쓰는데

뇌의 영역마다 처리하는 정보의 유형이 다른 것처럼

1차원 트렌스포머가 만능이라는 생각을 버리고

아키텍쳐 모델링을 다시 고민할 필요가 있음


ARC-AGI 벤치마크도 마찬가지임.

1조개의 파라미터를 쓰고도 헤메기에는 너무 쉬운 문제들임.

역시 기하학적, 양방향 그래프적인 사고가 필요한 사례임.

(트랜스포머가 이론적으로 inductive bias를 최소화한 모델로 설명되지만 오히려 텍스트처럼 dense하고 uni-directional한 데이터에 치중된 모델일 지도 모름.)


단언컨대 현재처럼 모델 크기나 reasoning 차원의 스케일링만으로 AGI를 달성하는 일은 없을 것임.

오늘날처럼 빅테크 기업들이 단기적인 성과에 집착해 스케일링에만 투자한다면

리만 가설은 증명하더라도 여전히 손가락 개수는 세지 못하는 날이 올 거임.


현실의 벽을 마주하는 순간

전세계 연구진이 근본적인 접근 방법을 다시 고민하는 날이 올거고

과거 우리가 ResNet을 발명하기까지 CNN을 지지고 볶고 했던 것처럼

새로운 아키텍쳐 발굴에 다시 집중하는 시대가 올 것이고

그것이 AGI를 향한 올바른 방향일 것임.


나름의 Bold prediction을 해본다면

그래프 계열 모델은 공간사고 뿐 아니라 언어사고에도 적합할 가능성이 높고

자연스레 뉴런이 시냅스를 통해 무작위로 연결된 인간의 뇌와 유사한 형태로 진화할 것이라고 생각함.


물론 학계나 빅테크 연구팀에서 이런 관점의 접근은 이미 존재하겠지만

대부분의 인력과 자금력의 비중은 여전히 양질의 데이터셋 확보, 스케일링, 하드웨어 최적화 등에 쏠려있음.

기업은 물론 AI 학계도 단기적인 수익창출이나 논문성과가 너무 중요하기 때문에..


정리하면,

인간이 분명히 가지고 있는 기하학적 사고 능력을 결여한

오늘날 LLM의 접근방식으로는

특갤러들이 바라는 AGI가 5년 안에 오기 어렵지 않을까 싶음