지금 미국 빅테크 석학들이 AGI를 달성하기 위하기까지 남은 난제들을 있잖아


단순한 확률론적 앵무새를 넘어서서

진정으로 사고/추론을 할 수 있는 AGI를 만들기 위해서 뭐가 필요하다고 주장하냐면


- 더 나은 추론 방식 (알고리즘)

- 추론에 더 적합한 모델 구조

- 더 많은 감각 / 경험


이렇게인데, 난 솔직히 이건 다 곁다리들이지 지금 AI의 한계에 있어서 본질을 바꿀 수 없다고 보거든?


애초에 난 지금 딥러닝에서 신경망을 훈련시키는 방법인 역전파(backpropagation)에 문제가 있다고 보는 입장이야.


무슨 소리냐면, 우리 뇌가 무언가를 학습할 때 역전파를 이용하는가? 아니거든.

우리 인간보다 엄청나게 하등한 쥐, 고양이, 모기도 학습할 때 역전파를 이용하는가? 아니지.


구조가 간단하든 복잡하든, 지금 지구상에 존재하는 모든 생명체들의 뇌는 역전파와 같이 매우 비효율적인 알고리즘을 채택하고 있지 않음.


우리 뇌는 무언가를 보고, 느끼는 경험으로부터 학습할 때 전체 파라미터를 업데이트하는 역전파를 이용하지도 않고, 특정한 loss 함수가 고정되어 있지도 않음.


생명체들의 뇌는 실시간으로 스스로의 연결 및 구조를 경험으로부터 꾸준히 업데이트해나가지만, 지금 답러닝에서의 뉴럿넷은 그렇지 못함.

새로운 걸 가르치려면 전체 파라미터를 업데이트하든가, LoRA 같은 어댑터를 붙이든가.

제로샷 / few-shot도 어디까지나 학습된 범위 안에서 아주 제한된 역할을 수행하는 것이지, 경험으로부터 무엇을 배운 것이 아님. RAG를 붙인다 해도 마찬가지임.



AI를 계속 공부하면서 느낀 건데, 지금 AI랍시고 나오는 것들이 추론을 못하는 이유는 간단함.

바로 위에서 말했듯, 실제 뇌에 비해서 그 알고리즘과 구조가 매우 비효율적이기 때문임.


AGI를 만들기 위해서 뇌를 그대로 따라해야한다고 말하는 게 아님.

지금 신경망을 학습시키는 방식인 Backpropagation이 너무나도 비효율적이고 고지식한 방법이라는 것일뿐.


다들 어떻게 생각함?

내가 볼 땐 이미 빅테크 / 미국 AI 대학원 랩에서도 똑같이 통감하는 사람이 있을 거고, AGI로 향하는 진정한 발전은 단순히 지금 transformer 구조만을 갖고 데이터/알고리즘을 바꾸는 게 아니라 이 backpropagation을 대체할 방식을 내놓는 곳에서 탄생할 거라고 봄.