때는 1986년, 20년이라는 오랜 연구기간을 끝에 기존의 '다층 퍼셉트론'을 보완한, '제프리 힌튼' 교수는 마침내 오류 '역전파(Backpropagation)'라는, 출력 값과 실제 값의 차이를 손실 값으로 매겨, 겹겹의 층(Layer)으로 '가중치'를 두어 학습하는 알고리즘을, 세상에 발표하여 현 인공신경망 AI의 근간이 되는 기술, 대 '심층 학습(Deep Learning)' 시대의 서막을 알렸다.






그 뒤로도, 기계학습은 몇번의 우여곡절을 겪기도 하였지만, 2000년대에 이르러서는 '얀 르쿤' 교수의 'CNN'의 발견, 그리고 'ALEXNET'과 같은 사건으로 인해, 눈부신 발전을 보였다.






그리고 2010년대 중후반에 이르러서는, 그 유명한 딥마인드의 'AlphaGo' 사건.

마침내, 인공지능이 인간의 영역에 절대 도달하지 못할 것으로 예상되었던 분야 중 하나인 '바둑'에서, 세계 최정상 급의 기사를 꺾어버림으로써,

그 당시, 일반 대중들에게는 공상과학의 영역이었던 AI가 마침내 수면 위로 떠올랐다.


그리고, 현재의 이 알파고를 있게 해주었던, 'Reward is enough(보상이면 충분하다)' = 통칭 '강화학습'은,

많은 대중과 연구자들에게, AGI(일반 인공지능)의 가능성을 보여주었다.






업계는 여기서 멈추지 않고, 2017년 구글은 마침내 'Attention Is All You NEED(정렬이 전부다)' = 통칭 '트랜스포머'라는 아키텍쳐를 발표한다.


트랜스포머는 쉽게 말해서, 어떤 문장과 단어를 받아서 그 다음에 확률적으로 올 단어를 계속 생성해주는, 수학을 예로 들면, 곱셈 문제를 줬을때 수학적 연산을 직접 하는게 아니라, 인터넷의 방대한 데이터를 바탕으로 미리 '훈련(training)'하여, 그 다음으로 자연스럽게 올 숫자를 예측해주는 방식이다.


이는 병렬처리가 어려워, 연산속도가 매우 느리던, 'RNN'의 한계를 극복하고, 자연어 처리에서 상당한 퍼포먼스를 보여주어, 관련 업계에선 아직까지도 일종의 AI계의 '무안단물' 취급을 받아왔고, GPT 및 우리가 지금 이용하는 대부분의 자연어 처리 생성 AI는, 이 트랜스포머라는 아키텍쳐에 기반을 두고있다.







그리고 작년, 딥마인드는 텍스트 기반의 LLM이 이미지 처리를 위한 시각모델을 따로 구축할 필요 없는 '다중 모드(multi-modal)', 데이터를 동일한 가중치를 가진 하나의 인공신경망에서 처리하는 '다중 작업(multi-task)' 기반의 신경망 모델, 'Gato'를 공개하여, LLM의 '멀티모달' 구현에 기여했으며, 이는 인공신경망의 '월드 모델(AI가 현실세계에 대해 더욱 정확한 상식을 얻는 것.)'화를 촉진시켜, 또 한번 일반 인공지능으로의 발걸음을, 한 발자국 내디뎠다.






현재에 이르러선, 과거와 달리 컴퓨팅 성능만 따라준다면, 일부 분야에서 규모만 늘려도 모델의 성능이 올라가는 신기한 현상을 보여, 'Scale Is All You Need(스케일이 전부다)' 같은 드립이 나오기도 했다.

과거, 'GPT-3'의 175B 같은 당시로썬, 미친 파라미터 수에 도전했던 이유도 이것 때문이다.

그래서 무지성 파라미터 수만 계속 늘려도 성능이 더더욱 올라가지 않을까? 같은 막연히 기대하는 부류가 생겨난 것이고.

파라미터를 175B까지 올렸더니 갑자기 글쓰기, 간단한 논리 추론까지?

만약 1조까지 올렸을 때, 갑자기 수학까지 잘해진다면?(현재 GPT-4의 수학 추론력을 보면 글쎄다만...)


1뉴런 = 1000 인공뉴런New Study Finds a Single Neuron Is a Surprisingly Complex Little Computer (singularityhub.com)In the study, the team founm.dcinside.com


물론, 이것도 약인공지능 수준에서나 통용되는 이야기고, 아직 인공신경망의 '파라미터'와 인간 뇌의 '시냅스'는 그 효율에 있어 1000배의 차이가 있고, 뇌의 전성비나 기타등등을 고려하면, 그 차이는 더욱 벌어질 것이기에, 기계학습으로 인간 수준의 지능을 달성하려면, 패러다임 차원에서 트랜스포머 급의 혁신이 몇 개는 더 필요한 상황이다.





이처럼 최근 10년 간, 딥러닝과 슈퍼컴퓨터의 발전은 그야말로 '위대한 10년'이라고 불릴 정도로 수많은 성과를 이뤄냈지만, 그럼에도 AGI에 도달하기엔 아직 뭔가 2% 부족해 보이는 것이 사실이다.


이는, 0에서 80까지는 엄청 빨리 발전했지만,

80에서 90은 엄청 더디고,

90에서 100은 또 얼마나 오래걸릴지 가늠이 안되는, 현 생성 AI가 가진 문제점과도 일치한다.



마치, 옛날에도 "몇 년 후면 암정복!" 같은 낙관적인 예측을 바라봤지만,


현실은 여전히 시궁창.


AI 산업 또한, 지금이야 다들 뽕맞고 전세계적으로 인력과 자본이 모이고 있다지만,


새로운 패러다임의 발견이 없어, 점점 발전속도가 둔화된다면,


결국 7년 전 알파고 때와 마찬가지로, 소리소문 없이, 대중들은 또 한번, AI에 대한 관심을 잃어버릴 것이다.


그리고 AI의 발전은, 지금 이 갈림길에 서있다.