OpenAI는 **「왜 언어 모델이 환각(hallucination)을 일으키는가」**라는 논문을 발표하며, AI 환각의 근본 원인과 이를 줄이기 위한 해결책을 제시했습니다.

언어 모델이 환각을 일으키는 이유는 표준적인 학습 및 평가 절차가 "모른다"고 인정하는 것보다 추측하는 것을 보상하기 때문입니다. 대부분의 평가가 모델의 성능을 측정할 때 불확실성에 대한 솔직한 대답보다는 정답률(accuracy)에만 의존하기 때문에, 모델은 "모르겠다"라고 답하는 대신 추측을 하도록 장려됩니다.

환각은 사전학습(pretraining) 과정에서부터 기원합니다. 언어 모델은 방대한 텍스트에서 "참/거짓" 라벨 없이 다음 단어를 예측하는 방식으로 학습하기 때문에, 올바른 진술과 잘못된 진술을 구분하기 어렵습니다. 특히 반려동물의 생일 같은 임의적이고 낮은 빈도의 사실은 패턴만으로는 예측할 수 없어 환각을 일으키게 됩니다.

연구진은 결론적으로, 정확도 기반 평가를 개편해 추측을 억제하는 방향으로 점수를 매겨야 한다고 주장합니다. 주요 평가 지표가 계속해서 운 좋은 추측에 보상을 준다면, 모델은 계속 추측하는 법만 학습할 것이기 때문입니다. 하지만 언어 모델은 불확실할 때 답변을 보류(abstain)할 수 있으므로, 환각은 피할 수 없는 문제가 아니라고 강조했습니다.


내년 모델들 환각 개선 기대됨

- dc official App