본 글은 Gemini를 통해 정리했고, 해결법은 흔하지만 직접 고안해봤음.





LLM의 '6개 손가락' 문제: 원인부터 해결 방안까지 총정리

LLM이 6개 손가락 이미지를 보고도 5개라고 확신하는 현상은 단순한 실수가 아닙니다. 이는 LLM의 근본적인 작동 방식과 명확한 한계를 동시에 보여주는 매우 중요한 사례입니다.

1. 근본 원인: LLM은 왜 '확률적 앵무새(Stochastic Parrot)'인가?

이 문제의 핵심은 LLM이 '이해'하고 '추론'하는 존재가 아니라, 방대한 데이터 속에서 가장 그럴듯한 통계적 패턴을 따라 말하는 '확률적 앵무새'라는 사실에 있습니다.


압도적인 데이터 편향: LLM이 학습한 수십억 개의 데이터에서 '손'이라는 단어와 이미지는 99.999%의 확률로 '손가락 5개'라는 정보와 함께 등장합니다. '6개 손가락'은 통계적으로 무시해도 좋을 극소수의 예외(outlier)입니다.


최소 손실의 함정 (Loss Minimization): 모델의 학습 목표는 '정답과의 차이(loss)'를 최소화하는 것입니다. '손'에 대해 '5개'라고 답하면 거의 항상 정답이므로 손실이 매우 낮습니다. 따라서 모델은 "손 이미지가 보이면, 굳이 위험을 감수하고 픽셀을 세는 것보다, 가장 안전하고 확률 높은 '5개'라고 답하는 것이 가장 효율적이다" 라는 지름길을 학습하게 됩니다.


이것이 바로 '확률적 앵무새'입니다: LLM은 눈앞의 이미지를 논리적으로 분석하여 "하나, 둘, 셋..." 하고 세는 것이 아닙니다. 그저 입력(손 이미지)에 대해, 과거에 학습했던 가장 강력한 패턴(손=5개)을 가장 높은 확률로 뱉어낼 뿐입니다. 사람이 "안녕"이라고 하면 "하세요"라고 대답하듯, '손'이라는 자극에 '5개'라는 반응이 자동적으로 튀어나오는 것입니다. 이처럼 의미를 이해하지 못한 채 확률에 기반해 말을 따라 하는 모습이 앵무새와 같다고 해서 '확률적 앵무새'라고 부르며, 이 현상은 그 별명이 왜 타당한지를 정확히 보여줍니다.




2. 이 문제를 왜 반드시 해결해야 하는가? (신뢰성의 문제)

"고작 손가락 개수인데, 뭐가 그리 중요한가?"라고 생각할 수 있지만, 이는 AI의 신뢰성과 직결되는 문제입니다.

의료 분야: AI가 MRI 사진을 판독한다고 상상해 봅시다. 대부분의 MRI는 '정상'입니다. 만약 AI가 '확률적 앵무새'처럼 행동한다면, 매우 드물게 나타나는 초기 암세포(6개 손가락 같은 예외)를 보고도, 압도적으로 많이 학습한 '정상' 데이터 패턴에 따라 "이것은 정상입니다"라고 잘못된 진단을 내릴 수 있습니다. 이는 생명과 직결된 치명적인 오류입니다.

자율주행: 도로 위의 대부분은 자동차와 평범한 보행자입니다. 만약 도로에 갑자기 사슴이 튀어나오거나, 특이한 형태의 장애물이 나타났을 때(6개 손가락 같은 예외), AI가 이를 가장 흔한 패턴인 '배경'이나 '그림자'로 오인한다면 대형 사고로 이어질 것입니다.

정보의 진실성: 널리 퍼진 오해나 가짜뉴스를 학습한 AI는, 사용자가 진실을 물어도 가장 확률적으로 많이 언급된 '오답'을 사실인 것처럼 말할 수 있습니다.

결론적으로, '앵무새'처럼 패턴만 따라 하는 AI는 재미있는 장난감은 될 수 있지만, 우리가 정말 필요로 하는 신뢰할 수 있는 파트너가 될 수는 없습니다. 따라서 이 문제를 해결하는 것은 AI 기술을 한 단계 발전시키기 위한 필수 과제입니다.



3. 해결 방안: '앵무새'를 '조련'하는 방법

이 문제를 해결하기 위해 제안해주신 방법들은 매우 효과적이며, 현재 AI 연구의 핵심 방향입니다.

데이터 가중치를 통한 처벌 (Fine-Tuning with Weighted Loss): '비싼 과외'

방법: 모델이 자주 틀리거나, 반드시 맞춰야 하는 중요한 예외 데이터(6개 손가락 이미지 등)를 틀렸을 때, 일반적인 실수를 했을 때보다 훨씬 더 큰 페널티(loss)를 부여합니다. 효과: 모델은 '비싼 실수'를 피하기 위해 더 이상 통계적 지름길에만 의존하지 않고, 이미지의 세부 사항을 꼼꼼히 보도록 강제됩니다. 예외 상황에 대한 집중력을 높이는 훈련입니다.

강화학습을 통한 행동 교정 (RLHF with Penalty): '당근과 채찍'

방법: 단순히 정답/오답을 넘어, 모델의 답변 생성 '과정'을 평가합니다. 할루시네이션(예: 6개를 보고 5개라고 우기는 행동)을 보일 때마다 강력한 벌점(음의 보상)을 주고, 사실에 기반해 정확히 설명하는 행동에는 큰 상점(양의 보상)을 줍니다. PPO, GRPO 등의 기법이 바로 이러한 행동 교정을 위해 사용됩니다.

 효과: "무조건 5개라고 답하는 행동은 나쁜 행동이다"라는 것을 명확히 학습시킵니다. 이를 통해 모델은 성급한 결론을 내리기 전에 한 번 더 검증하는 '바람직한 추론 습관'을 갖게 됩니다.

이러한 노력들은 LLM을 단순히 말을 따라 하는 '확률적 앵무새'에서, 주어진 증거를 바탕으로 신중하게 판단하고 신뢰할 수 있는 답변을 생성하는 '추론적 파트너'로 진화시키기 위한 핵심적인 과정입니다.





------------------------------------------



정리하면
1. SFT 시에는 할루시네이션을 유발하는 데이터 샘플에 대해서는 틀리면 일반적인 loss보다 과도하게 흘리기
2. GRPO 같은 강화학습 방법에서도 동일하게 할루시네이션을 유발하는 데이터 샘플에 대해서 틀리면 추가 벌점을 크게 부여.

그렇게 된다면 5개를 많이 맞춰도 6개인(할루시네이션 유발 데이터)를 틀리면 크게 손해를 보니, 각 샘플을 정확하게 맞추게 학습될 수 밖에 없음.

확률적 앵무새 조금 해결.