구글이 뭐 강화학습만 한줄 알던데 전혀 아님
트랜스포머 자체가 구글이 처음 제시한 구조고 구글 번역의 GNMT가 사상 최초로 전세계에 서비스된 LM 중 하나인데...

그동안 구글 LLM 논문들 보면 항상 최적의 모델 구조는 무엇인가, 그리고 리소스는 어떻게 최적화해야 하는가가 중요 포인트임.
동일한 용량에서 트랜스포머를 깊게 쌓고 Feedforward를 얇게 만드는게 나은가, 아니면 Feedforward를 넓게 하고 레이어를 조금만 까는게 나은가(deepmind chinchilla)
vision transformer(이것도 구글)과 LLM을 어떻게 멀티모달에 쉽게 붙일까(PaLM-E)

동일한 연산이면 어떻게 하면 용량을 줄일 수 있을까(multiquery attention, PaLM)
SwiGLU(GLU variants improves transformers)

이런걸 엄청 중요시한거임.

그리고 그 과정에서 모든걸 논문으로 공개했기 때문에 OpenAI는 사실 구글+그외 학계 연구들의 과실을 따먹으면서 일단 빠르게 고객한테 내보이고 피드백을 받는 것을 우선시할 수 있었던 거야

그래서 AI 관련한 일들 하는 사람들은 구글의 기술력을 의심하지는 않아. 따라잡을 저력과 능력은 있으니까.


그리고 이러한 방향성 차이에는 두 회사의 입장차도 한몫한거야
스타트업이기에 용서받을 수 있는 것도 있는 것이거든.

지금은 ChatGPT 엄청 떠서 그쪽도 사용자가 많지만 그거 등장 전에는 구글과 오픈AI 접속량 그냥 비교하는게 우스운 차이였잖아.
오픈AI는 ChatGPT 오픈하고 GPU 모자라면 걍 서비스 다운시켰는데 전세계 서비스중인 구글을 다운시키면 큰일나지.

오늘날 언어모델은 환각현상이 있고 잘못된 소리를 할 수 있다는게 ChatGPT 덕분에 알려져 있지만

ChatGPT 같은 게 없었던 시대에, 구글에서 뭘 냈대.
그럼 사람들이 구글이니까 이것도 검색엔진이라고 생각하는 사람들이 많지 않겠어? 근데 헛소리를 한다면? 감당이 어려웠을걸


내 생각에 당장은 아마 GPT-4가 더 좋을 거 같고 다음 돌파구 모델도 오픈AI가 아마 먼저 나올 것 같기는 한데

근데 구글은 어떤 모델 구조가 최적인지 그동안 찾아왔고, 그걸 반영해서 전세계 트래픽 감당할 정도의 인프라도 갖춘 상황이니까
조만간 경쟁 페이스에 지금보다도 불이 붙을 거라는 예상을 한다



- dc official App