[📪정보] GPT가 환각을 일으키는 이유

[구름냥이(gurumnyang)]

포스트 원문 보기

논문 보기

환각이란 모델이 자신감 있게 문장을 만들어 내지만

그 내용이 사실이 아닌 경우를 말한다.

말투와 문장 구성은 정상적이니 겉보기엔 믿음직스러워 보이지만,

사실 확인을 해보면 엉터리인 경우가 많다.

왜 환각이 발생하는가?

일단 사전학습(pretraining)과 사후학습(post-training)에 대해 알아야 한다.

사전학습 단계

GPT 같은 언어모델은 처음에 방대한 양의 텍스트를 읽으면서

다음에 올 단어를 예측하는 방식으로 훈련된다.

일종의 고도화된 자동완성 AI라고 보면 된다.

이렇게 사전학습을 마친 LLM은 훌륭한 자동완성기가 된다.

그러나, 모델은 '다음 단어가 올 확률 분포'를 근사하는 것이지,

개별 문장의 진실성을 판정하도록 훈련되는 것이 아니다.

따라서, 맞춤법과 유창성 등 언어적으로 자연스러운 패턴에는 높은 확률이 부여되지만,

특정인의 출생일처럼 사소한(singleton) 정보들은 점차 누락되기 시작한다.

이러한 singleton 정보들은 데이터 안에서 굉장히 희귀하기 때문에,

모델이 일반화하기 어렵다는 특징이 있다.

이로 인해, 아무리 좋은 모델이어도 마이너한 정보들에서는 환각이 불가피한 하한이 존재한다.

그렇다면 이런 의문이 들 수 있다.

그냥 모르는 것들은 모른다고 답하면 되지 않나?

5지선다 시험에 응시한다고 생각해보자.

만약 모르는 문제가 있을 때,

마킹란을 비워둔다면 그 문제는 무조건 오답으로 채점된다.

하지만 만약 아무거나 찍으면

1/5 확률로 정답을 맞출 수도 있게 된다.

결국 우리는 모르는 문제가 있을때 답란을 비워두는게 아니라,

기적을 바라며 찍신을 취하는 선택지를 취한다.

LLM의 '환각' 현상은 우리의 찍는 심리와 유사하다.

LLM도 학습 과정에서 동일한 상황에 직면한다.

대부분의 벤치마크는 이진 채점 방식(맞으면 1점, 틀리면 0점)을 사용한다.

이러한 평가 구조에서,

AI는 모른다고 응답하는 것보다 일단 아무거나 대답하는게 확률적으로 더 이득이라고 판단해버린다.

결과적으로 GPT는 불확실한 상황에서도

“모른다” 대신 자신감 넘치는 틀린 답을 내뱉는다.

실험에 따르면, 

사전학습(pretrained) 모델은 자기 확신에 대한 확률 분포가 비교적 잘 보정되어 있으나,

사후학습 후에는 오히려 보정이 붕괴된 것을 볼 수 있다.

따라서, 모델이 '정직하게 불확실함을 표시'하도록 정렬시키면,

환각 문제를 해소하는 효과를 볼 수 있다.

이를 행동적 보정(behavioral calibration)이라고 부른다.

일종의 오답감점제라고 생각하면 된다.

이런 형태로 평가 기준을 수정하면, 모델은 확신이 낮을 땐 굳이 찍지 않고 '모른다'라고 답하게 된다.

이에 대한 실증 사례로, GPT-5 시스템 카드의 SimpleQA 결과를 확인해보자

정확도만 보면, 구버전인 OpenAI o4-mini가 약간 더 낫다.

그러나 오류율(환각 발생률)은 3배 가량 더 높다.

행동 보정을 통해 '모른다'를 허용하자, 환각이 크게 감소한 것을 볼 수 있다.

논문에서 추가로 강조하는 것은,

주요 벤치마크 지표들을 개선할 필요가 있다는 것이다.

현재 주류 벤치마크들은 이진 평가(Binary grading) 방식을 고수하고 있고,

이로 인해 AI 업계에서는 좋은 평가를 받기 위해 환각병신 LLM들을 양산하고 있다는 것이다.

LLM의 환각 문제 개선을 위해선 현 벤치마크들을 개편할 필요가 있어보인다.

[바다기린(hancomputer)]

[익명(beam7653)]

[Dall리신(221.142)]

ㄷㄷ 이해가 쏙쏙 되잖아

[익명(119.75)]

굉장히 유익

[익명(rechido)]

[익명(oneself4159)]

환각률이 굉장히 중요한 벤치마크 지표인데 어설픈 벤치마크때문에 환각률을 그냥 넘어갔다는게 말이 맞음?

[특갤용(taste1505)]

모델 발표할때 벤치에 환각률 들어간게 몇번이나되냐? 일리있다고봄

[아이디뭐였더라(unfold3352)]

정리 존나잘했네 이해가 쏙쏙 되잖아

[익명(oneself4159)]

AI나 사람이나 ㅄ글에 개추달리면 계속 ㅄ글 쓰는 거나 똑같지

[이세이미야케(jkwarawara)]

5지선다 찍기로 비유하는건 되게 새롭네. 잘 읽었음!

[ㅇㅇ 2(175.195)]

ㅇㅇ ㅋㅋ 확 이해 됨

[익명(perform4782)]

경찰청 암실에서 모르는거 대답하라고하면 나도 가장 그럴싸한 답 말할듯

[익명(dmdm1029)]

잘 모르는걸 무조건 답해야 하면 어떻게든 지어내서 말하는게 오히려 인간답긴함. 이마에 총 들이대고 당장 말 안하면 쏘겠다고 하는데 몰라요 하는놈 없을테니

[ㅇㅇ 1(124.54)]

근자감 좆댐

[결코(theif0918)]

님들 알면 1점 모른다하면 0점 틀리거나환각잇으면 -1점 해서 보상주면 안되는건가요 - dc App

[ㅇㅇ 3(121.165)]

11번짤이 그소리하는거임

[ㅇㅇ 4(121.185)]

연구결과에 따르면 사용자들은 인공지능이 환각으로 아는 척 하는 것이, 그것이 틀리다는 것을 사용자가 이미 알고 있어도 더 선호도와 신뢰도가 높다는 결과가 나옴. 갤에서 특이점이 언제오는지 아는 척하는 헛소리글이랑, 모르는걸 모른다고 적은 글이랑 어느쪽이 더 리플과 믿는다는 글이 더 많이 달리는지 생각하면, 사용자들이 더 신뢰하기에 환각증상이 더 심해질수밖에 없음. 심지어 회사측이 환각을 더 심하게 만드는게 사용자들의 신뢰도가 높아져서 이익인 상황임

[익명(kist1212)]

글잘읽엇음. 근데이미 5지선다에서 오답감점제는 실행중이지않냐?? 이미보완되서나온게 gpt5아닌가

[구름냥이(gurumnyang)]

ㅇㅇ 아마 적용됬을꺼야. GPT-5 시스템 카드에 보면 기권률을 개선했다고 나와있어

[익명(kist1212)]

@구름냥이 글잘썻다 개추줫다