전문가도 아니고 그냥 문외한 입장에서 나름 추측해본 거에 불과하지만

현재 gpt-3.5, 4를 보며 한계점 중 하나라고 생각했던 건

단방향으로 다음 토큰을 예측하여 작성한다는 거임.

이 맹점을 확 느낀 순간이 언제냐면





이건 얼마 전에 갤에 누가 올려 준 Bing과의 대화인데,

처음에 빙이 이모지 대화 내용을 생성해주고, 이것은 인간이 이해할 수 없고, 단순히 그림을 나열한 것이 아니라 복잡한 의미와 규칙을 가진 것이라고 말함.


그런데 다음에 인간이 해석을 요청하자

기꺼이 인간에게 "helpful"한 태도로 답변을 생성해준 거임.

이모지 대화의 라인 단위로 한 줄 한 줄 아주 명확하고 구체적이고 과도하게 직관적인 것 같은? 해석을 제시해줌.

그런데 이것은 빙이 처음에 말한 "인간이 이해할 수 없고, 단순히 그림을 나열한 것이 아니라 복잡한 의미와 규칙을 가진 것"과는 모순되는 부분이라고 볼 수 있음.

심지어 저 해석 내용을 보면, "처음에 저 대화 내용을 생성해주기 전부터 설계했던, 생각해 뒀던 의미" 같은 것은 없고, 그저 해석 요청이 들어오니까 그제서야 자신이 했던 말을 참고해서 "급조"한 내용이라는 느낌을 강하게 받음.


쉽게 말해서, 인간처럼 자신의 사고를 가지고 있거나, 머릿 속에서 시뮬레이션과 검토를 반복하여 다듬어서 최종적인 답변을 제출하는 것이 아니라

그냥 생각이 나는 족족 타이핑을 완성시켜 버리는 거임.

만약 그 과정 중에서 실수가 생기거나 재검토가 필요한 상황이 되면? 앞에 이미 타이핑 해버렸던 말을 수정하는 게 아니라, 뱉은 말은 그냥 그대로 내버려 두고 뒤에 생성할 내용을 최대한 앞의 내용에 끼워맞추는 식으로 진행될 수 밖에 없는 구조라는 거임.


이걸 다르게 말하면

백스페이스 버튼이 없는 메모장,

자유롭게 이동할 수 없는 맨 뒤에 항상 '고정'된 커서를 가진 메모장과 같다는 거임.


현재까지 진행된 대화 내용과 자기가 생성하고 있던 말을 보고 뒷 단어를 최대한 잘 예측하려고만 하는 것이 아닌, 되돌아보고 검토해보고 자기가 앞에 쓰고 있던 내용을 수정할 수 있는 자유까지 허락이 된다면?

물론 무한 심사숙고에 빠지면 안 되니 이러한 과정들에 대한 적절한 횟수와 패턴 최적화를 학습하는 것도 역시 딥러닝 강화 학습으로 안 될 건 없어 보임.

만약 여기까지 구현이 된다면

ChatGPT는 지금처럼 토큰 단위로 줄줄 써내려가는 것이 아니라

내부적으로 스스로 작성하던 답변에 대한 몇 번의 되돌아보기와 수정 과정을 거친 뒤에 한 방에 답을 내놓는 형태가 될 듯함.

chain of thought prompting은 이런 단방향 구조 문제에 대한 거의 가장 단순하고 원시적인 형태의 접근이지만 그래도 유의미한 효과를 보여주는 걸로 보이고.


물론 이러한 과정이 추가되면 컴퓨팅 비용은 증가하겠지만,

근본적으로 잘못된 방식에 갇혀 있으면서 '하지만 빨랐죠?'를 시전하는 것보다

시간과 컴퓨팅 비용이 좀 더 들더라도 훨씬 더 유의미하고 질 좋은 아웃풋을 내놓는 게 더 나을 거라고 생각함.

어쩌면 지금처럼 같이 한 치 앞도 못보는 구조에서 이 정도의 능력을 보여주는 GPT가 이미 초인적인 것이었고,

여기까지 허용된다면 정말 어마어마한 결과를 보여줄 수도 있지 않을까 싶음.


이와 같은 생각을 하고 있던 도중...MS의 GPT-4 분석 논문을 보니

76~81 페이지에 이미 이런 부분들을 지적하고 아주 깔끔하게 정리해뒀네ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ심지어 르쿤이가 유사한 주장을 제기했다고 함. 궁금한 갤러는 읽어보셈.

https://arxiv.org/abs/2303.12712



만약 이게 OpenAI에서도 이미 인지하고 있는 부분이고 다음 버전의 모델에서 적절하게 솔루션을 적용해서 나온다면 정말 더할 나위 없이 흥미로울 것 같음.