GPT의 환각은 아무렇게나 발생하는게 아니라 학습된 데이터의 오염에 의해 발생함. 

즉, 한번도 존재하지 않았던 단어를 멋대로 창작해내지 않는다는 것이지. 


그런데 지금 GPT가 학습된 자료는 2023년 4월까지임. 

만약 아주 최근까지의 데이터까지 학습했다면 4.5 루머같은걸 학습해서 환각을 일으키는 것일 수 있는데, 그 상황이 아니라는거야. 


2023년 4월까지 인터넷상에 "GPT4.5"라는 단어는 거의 없었을테니 그런 환각이 생길 수가 없는거지. 


단순 환각이 가능하다면 아래와 같이 너는 GPT5야 하고 우겨도 그렇다고 할텐데 죽어도 그런 답은 내놓지 않음. 



그렇다면 리롤시 왜 4.0이 맞다고 하는걸까? 그건 GPT가 MoE로 돌아가고 있기 때문임. 


몇달 전 GPT의 지식이 2023년 4월로 업뎃됐을 때도 리롤할 때마다 대답이 왔다갔다 했었음. 

즉 초기에는 MoE를 구성하는 모든 모델이 업뎃되지 않았기 때문에 2023년 4월의 지식이 없는 모델이 답을 할 때도 있었던거지. 


지금도 똑같은 상황이라고 생각함. 모든 모델을 동시에 4.5로 업뎃하는건 어려우니까 일부분만 대체시킨거지.