아니 얘들아 애초에 LLM이 지금과같은 성능을 낼수있게된것 자체가

단일어텐션을 [여러개 만들어서 출력값을 이어붙인] 멀티헤드어텐션 때문임

하나의 문장,글은 여러가지 맥락에서의 의미를 가지기때문에 당연히 [다양한 관점에서 문맥의미를 형성]할수있도록 한거야


그냥 그방식의 아이디어 그대로 GPT단위에도 적용한거야 GPT 여러개 만들어서

[각자 다른관점으로 사고하게 한다음 종합판단]하게 만드는거야

근데 그렇게해서 지금GPT-4처럼 현재까지 구글,메타 그누구도 따라잡지못하고있는

'재귀개선이 가능한 추론능력'이 나오고 있는거야


이미 AI학계는 한참전부터 [단일모델이 아니라 복수개의 모델을 병렬로 연결]해서

마치 [이미지처리모델의 그것마냥 다양한 필터특성맵을 적용]하게끔 하는게

왜인진 모르겠지만 더 좋은 성능을 내고있음을 수도없이 목격해왔었고


그거때문에 기본적으로 모델설계할때 그런쪽으로 먼저 시도해왔었음

애초에 [다양한 필터특성맵]을 효율적으로 표현하기위해서

행렬이 행렬을 요소로 가질수있는 수학적 개념인 [텐서]를 적극적으로 도입한거야.


한마디로 말해서, 원래부터 AI학계에서 밥먹듯이 귀납적으로 증명되어온 주류 방법론이야

저거때문에 GPT-4가 사기니 뭐니 하는건 개인적으로

AI쪽 지식이 1도없지만 특이점 관심은 있는놈들 선동하려는 의도가 다분히 의심된다.


자, 하지만 한편으론 왜 얀르쿤과 메타가 이미지 처리쪽으로 AGI 접근하려는건지도 이제 알겠지?

결국 이미지모델의 아이디어를 가져다 쓰는거니까 좀더 본질적으로 접근해보고자 하는건데

저런시도를 그동안 AI학계가 씹멍청해서 안해온게 아냐...


이미 그전부터 CNN관련해서 시퀀스모델(언어모델이 속하는 분류상의 큰범주)에 접목해오다가 안되서 나온게 멀티헤드어텐션을 도입한 트랜스포머거든?

근데 뭐 쟤네가 그거 관련해서 문제점을 어떻게 독자적으로 뚫어냈는진 모르겠는데 MEGABYTE도 그렇고 이미지인식쪽에

좀더 가까운형태로 임베딩과 어텐션을 대체하고자 하는 흐름이 분명히 있긴해


근데 분명한건 걔네는 아가리질만하는 논문말고 아직까지 단한번도 GPT-4만큼의 성능을 챗GPT수준과 규모의 공개서비스를 통해 실증적으로는 보여준적이없어.




요약하자면 다음과 같아


1.원래부터 AI업계에서 밥먹듯이 쓰던거다

2.언어모델이 지금수준으로 발전해올수 있는것도 저방법론때문이다.

3.저방법의 원류가 이미지처리모델이라서 얀르쿤이랑 메타가 좀더 그쪽에 가까운 알고리즘을 설계하고있긴하다.

4.근데 AI학계에서 저런시도를 안해본게아니고 해봤는데 안되서 저방법론을 쓰는거다.

5.얀르쿤이랑 메타가 뭔가 돌파구를 마련했기때문에 논문들 내고있는거같긴한데 아직까진 GPT-4에 비하면 ㅈ도 보여준거 없다.