O시리즈는 요새 잘 나가고 있지만, 베이스 모델은 아직 큰 소식이 없음

왜 그럴까 생각해봤는데, 베이스모델은 현재와 같은 형태로 더 이상 발전시키는 것은 의미도 없고 효율도 안 나오기 때문일거라 생각함

"베이스 모델에서 결국 중요한 것은 양질의 데이터이다"라고 드러난 현재 상황에서 공개적인 데이터, 비공식적인 데이터, 노가다로 만든 데이터 등 학습할 수 있는 데이터들은 거의 다 학습했을것임

하지만 데이터를 매번 이렇게 가져다가 박으면서 파인튜닝 하는 것은 효율적이지도 않고, 데이터를 구하는 과정 자체도 쉽지 않으며, 그마저도 거의 한계에 다다랐다는 말이 많이 나오고 있음



그럼 여기서 생각해 볼만한게, "그렇다면 AGI 달성을 위한 베이스 모델은 어느 정도의 지능을 가져야 할까?"인데, 개인적으로는 베이스 모델은 지금 수준으로도 충분하다고 생각함

사람도 일상적인 작업, 무의식적으로 행하는 작업들, 간단한 지식 떠올리기 등을 할 때는 사고라는 과정을 거쳐서 결과를 내지 않음

글쓰기, 코딩, 수학, 운전 등과 같은 고차원적인 작업들을 행할 때나 사고를 통해 일을 처리함

그래서 AI도 마찬가지로 첫 AGI가 나온다면 지미애플의 그림처럼 "4o ~ 약간 더 발전한 베이스 모델 + 각 분야의 O 시리즈의 결합" 느낌으로 나오지 않을까 싶음
(이는 알트만이 인터뷰에서 직접적으로 언급까지 했으니 거의 확실한 것으로 보이긴 함)

다만, 베이스 모델에서의 핵심은 저 짤에 써있는 것처럼 Board General Knowledge를 적재적소에 뿌려줄 수 있어야 한다는 것임

왜냐하면 AGI에 가장 중요한 것은 결국 데이터이기 때문임

간단한 지식의 제공이든, 추론을 통한 사고의 결과물이든, 다양한 창작물을 학습한 후 뽑아내는 창조물이든 인간의 일을 대신하기 위해서는

결국 실시간으로 업데이트 되는, 혹은 지금까지 쌓여온 세상의 정보를 적재적소에 맞게 사용할 수 있어야 함

그러므로 이 베이스 모델이 세상의 모든 지식을 제공해줄 수 있어야 하며, 이는 데이터만 있다면 현재의 베이스 모델 수준으로도 충분히 가능할 것이라 생각함



그렇기에 효율적이지 않은 베이스 모델의 발전을 꾀하기 보다 우선적으로 O 시리즈를 개발하며 서치GPT를 발전시켜 부족한 최신 데이터를 보충하는 방향으로 진행했던 것 같음

물론 이 '서치'라는 과정이 어떤 게 양질의 데이터인지 구별하는 것, 무엇이 문제 해결에 더 적합한 데이터인지 판별하는 것 등 인간에게도 쉽지 않은 과정이라

성능은 아직까지는 흠... 이지만, 앞으로는 쭉 이런 방향으로 성능 향상을 꽤하지 않을까 싶음

그래서 개인적인 생각에 스타게이트와 더불어서 이 '데이터' 에 대한 국가주도적인 사업도 빠른 시일내에 진행하지 않을까 생각해봄

O 시리즈의 발전이 잘 되어가고 있는 지금, AI가 쉽게 접근할 수 있고, 주기적으로 업데이트되는 양질의 데이터가 모여있는 전지구적 DB가 있다면, 시너지를 통해

AI의 성능 향상이 아주 크게 이루어지리라 생각함