최근 언어모델은 transformer 모델이 개발된 이후로 정말 엄청나게 발전했음. 다만, 개인적으로 생각하는 문제점은 무조건 토큰(단어) 하나에 1개의 forward를 할당한다는 점임.
문제는 필요한 생각의 깊이가 각 토큰마다 다르다는 점임.
따라서 나는 토큰 하나에 할당하는 forward 개수에 유동성이 있어야 한다고 생각함.

다시 말해 어려운 문제를 풀때는 길게 생각하고, 쉬운 문제를 풀때는 짧게 생각하는 것이 필요하다는 것임.
이것은 인간도 마찬가지임. 인간은 어려운 문제를 풀때는 고민하는 시간을 가짐.

현재의 언어모델은 이렇게 고민하는 시간을 따로 갖지 못함. 난이도와 관계없이 글을 읽는 시간만 고정적으로 가질 뿐임. 이러면 당연히 수학문제같은걸 잘 풀 리가 없음.
아무리 인간이어도 어려운 수학 문제가 나오면 답을 한번에 내는게 아니라, 답이 나올때까지 몇분 몇시간도 더 고민함. 현재 언어모델은 이런 과정이 근본적으로 결여되어 있음.

나는 이 문제를 해결하는 것이 언어모델에서 AGI로 가는 키포인트 중 하나라고 생각함.