챗갤에 올렸던 글인데 특갤러들도 좋아해주지 않을까 해서 올려봐용

GPT에 대한 기술적인 이해를 돕기 위한 글임

LLM 원리 알고있으면 나가도됨


저번에도 비슷한 이야기를 했었는데 다시 적어볼게





릴레이 소설을 생각해보자.

여러 명이 모여 한 문장씩 돌아가며 이야기를 만든다.


예를 들어, 


1. 오늘 아버지가 돌아가셔서

2. 슬픔의 눈물을 흘리며 육개장을 한 입 먹었다

3. 그러자, 아버지가 관에서 일어나셔서

4. "야 인마, 육개장을 왜 쳐 먹냐?"


이렇게 각 참여자는 이전 문장들의 흐름을 보고 자신이 생각하는 가장 자연스러운 문장을 이어붙임.


여기서 핵심은, 각 참여자가 앞에 있는 문장들을 모두 볼 수는 있지만,

이전 문장을 쓴 사람들이 왜 그런 내용을 썼는지 그 진짜 의도나 내면의 생각은 결코 알 수 없다는 점임.


4번째 참여자는 왜 3번째 참여자가

그러자, 아버지가 관에서 일어나셔서'라는 문장을 적었는지 알 수 없음.


단지 이전에 만들어진 문장들만 보고 자신의 관점에서 자연스러워 보이는 다음 문장을 적었을 뿐임.



LLM도 똑같음.








LLM은 비유하자면, 복제인간 여러명이서 단어 단위의 릴레이 소설을 적는거임

+고도로 발전한 텍스트 자동입력기라고 비유해도 될듯


즉 이전 토큰들을 보고 그 뒤에 올 토큰을 가장 자연스럽게 선택하는 작업을 반복하는 것에 불과함.


그렇기 때문에 LLM은 자신이 앞서 적은 문장들이 왜 그런식으로 작성됬는지 알 수가 없음.

릴레이 소설에서 앞 사람들이 왜 그런 문장을 적었는지 알 수 없는 것처럼.


이러한 방식 때문에 GPT-4o같은 베이스 모델은 사람처럼 내심을 가질 수가 없음.

연속성을 유지할 수 있는 방법이 표면화된 텍스트 밖에 없기 때문에




그렇기 때문에, 'GPT야 왜 앞에서 ~라고 말했어?' 이런 질문을 해봤자 진짜 정답은 알 수가 없는거임.