이건 분명히 결론이 안 내려지고 서로 주장하는 바가 다른 주제임. 그래서 서로 지지하는 쪽 학자 주장 복붙해도 그럴듯해보임.


근데 일반인에 가까운 수준에서, 이해를 하는 쪽으로 가고 있다는 쪽에서 이야기를 하자면.


1.단순한 확률 앵무새인가?


확률 앵무새라고 하면 일반인 사람들 입장에선, '라면' 다음에 '맛있다.'가 올 확률이 '빠르다.'가 올 확률보다 높으니까 '맛있다.'가 오는 거다.


수없이 많은 텍스트에서 이걸 확률적으로 학습해서 잘 내뱉는거다. 라고 생각함.


근데 이건 초기 언어모델이 이런거라고 알고 있고 당연히 성능이 최악임. 아무리 데이터를 늘려봤자 성능 향상도 안 되고 딥러닝도 아닌거고 그냥 그런거지.


여러 버전을 거치다가 좀 의미있게 나온 게, 단어를 단순히 보는 게 아니라 벡터화해서 정보를 저장하는거임.


'라면'이라는 단어랑 주변에 무슨 단어들이 오는 지를 살펴보고 그 관계를 벡터화 시킴. 단순히 말해서 수십개의 특징들을 숫자로 기록했다 보면 됨.


A라는 사람을 키,몸무게,고향,학력,인종,IQ 등등등 전부 숫자화한건데 당연히 이게 뭘 의미하는 숫자인진 모르고 암튼 많은 숫자로 표현한거임.


그래서 여기에서부터 좀 신기한 게 생기는데


많은 데이터로 단어들의 벡터를 열심히 학습한 이후에


예를 들어서,


도쿄 벡터에서, 일본 벡터를 빼고, 한국 벡터를 넣으면 서울 벡터가 나옴.


음? 단순하게 도쿄가 일본 관련 글에서 자주 등장한다. 이런 걸 넘어서는 거임.


이건 짐 켈러(반도체쪽 천재 그 사람 맞음)가 MIT에서 말했던


이해라는 건 정보의 양이 아니라, 정보 관계의 합이다. 라는 말과 이어진다고 생각함.


단순하게 '라면' 에 대한 많은 텍스트(정보)가 많다고 이해하는 건 아님. 하지만, '라면'이라는 텍스트가 '맛있다' 와는 가깝고 '자동차'와는 멀고, '김치'와는 매우 가깝다는 결과물을 내뱉을 수 있음.


그런 점에서, 손가락 못 그리거나 간단한 산수도 틀리긴 하지만, '이해'의 발걸음을 내딛고 있든, '이해'하는 척을 하든, 단순한 확률 앵무새는 아니라고 할 수 있다고 봄.


2.손가락이랑 산수는 못 하는데?


내가 전_공자도 아니고, 비전쪽은 몰라서 손가락 왜 잘 못 하는지를 제대로 이해는 못 함.


대충, 사람의 얼굴은 눈코입 개수도 뻔해서 학습이 쉬운데, 손은 조금만 돌려도 손가락이 1개인지 5개인지 파악 못 하고 특징을 제대로 학습 못 한다....고 듣긴 했음.


근데 이건 너무나 당연하게, 보완하고 개선할 기술이 나올 거임. 오히려 이거 못 한다고 놀리면 전_공자분들이 울컥할 걸?


아는 박사 밟는 사람도 이제 라마2는 누가 쓰냐고. 아무도 안 쓴다고 나한테 말하더라. 라마2가 나쁘다기보다, 개선된 모델이 너무 많이 나옴.


즉, AI를 전혀 모르니까 '이것도 못 하고 저것도 못 하고'에 집중하는 것 같은데


AI를 알게되면 '아니 이걸 어떻게 함? 아니 이게 왜 됨?' 이렇게 생각하는 게 정배라고 봄.


손가락이랑 산수를 '이해'해야만 해낸다고 생각할 수도 있는데, 지극히 일반 사람의 시각인 것 같고.


현 AI 흐름에선, 인간과 다른 시각, 시야에서 문제를 새롭게 바라보는거라, 난이도가 높은 문제일뿐임. 그리고 당연히 해낼 것 같은 느낌의 문제인거고.


3.심심하면 공부도 해보자.


정식으로 말고, 정식으로 하면 선형대수학이니 미적분이니 이산수학이니 파이썬이니 컴구조니 할텐데...그러지 말고 가볍게만 보면


아마 처음엔 '뭐? 이게 AI라고?.....진짜 별 거 없네?' 같은 말이 나올거라고 봄.


그러면서 '아, 전_공자들이 왜 AGI가 택도 없다고 하는 지 조금 알겠네.' 라고 생각함.


그런데 최신 모델들이랑 발전속도가 눈에 들어오면 '어? 일단 AGI든 아니든 그냥 AI가 발전하기만 해도 엄청 세상 좋아지겠네. 지금 당장은 제품화가 어려워도 이 속도면 1,2년이면 와.....'


그러다가 호들갑 떠는 openAI 출신 애들을 보면 결국 2가지 중 하나라는 생각이 듬.


1.돈 벌려고 호들갑이다. 이런 LLM에서 뭐 특별할 게 있겠어? 아니, 특별해봤자 얼마나 특별하겠어? AGI가 불가능하다는 사람은 이제 거의 없어도, 아직 한참 남았겠네.

2.하지만, 외부 유출 안 된 내부모델엔 뭔가 있는 거 아닐까?


난 후자임. 무슨 논리적 판단을 해서 후자가 아니라, 그냥 후자이길 바라는 게 맞음.


이건 선택의 문제라고 봄.


어쨌든, 아주 하이레벨로 가볍게 적은거니까, 전_공자분들이나 틀린 거 있으면 바로 잡아주셈.