언어모델이 단순히 토큰(단어) 단위로 사고하지 않는다는 것임. 좀 더 나아가면 언어모델의 핵심이 역설적으로 "언어"가 아니라는 것까지 알 수 있음.

가령 새로운 단어 blazzer를 만들어서 단어바꾸기 게임을 하면 언어모델은 토큰화에 실패해서 "bla"+"z"+"zer"같은 방식으로 분할함. "bla", "z", "zer" 각각은 아무 의미가 없고 이 단어들의 embedding vector 역시 실질적으로 아무런 언어적인 정보를 주지 못함. 그럼에도 불구하고 아래 글에서 보듯이 언어바꾸기 게임을 나름 잘함. 입력에 언어적인 정보가 하나도 주어지지 않았는데, 놀랍게도 잘 작동한다는 거임.

왜일까? 이유는 언어모델의 사고 단위가 토큰(단어)보다 추상적인 무언가이며, 처리하는 정보도 단순히 언어적인 정보가 아니라 그보다 추상적인 무언가이기 때문임. 그래서 언어 모델은 사실 더이상 언어를 중점적으로 다루는 모델이 아니라고 생각함. 단지 입출력과 학습방식이 언어의 형태일 뿐임. 즉, 언어는 수단일 뿐임. 마치 인간과 같이.

아주 단순해 보이는 저 게임을 진정한 지능의 증거라고 할 수 있는 이유는 바로 이것임. 구체적 언어 정보를 단어 간 유사성 따위로 통계적으로 처리하는 것을 넘어, 진짜 "지능"이라 할만한 추상적이고 본질적인 사고과정이 언어모델에는 있다는 것임.