일반적이지 않은 특수한 이미지를 볼때는 언어모델이 시각에 의존하지 않고 사전 지식에 의존한다는 연구가 있음.


즉 이미지 내용을 무시한다는 거임.


단순한 문제처럼 보이지만 이를 해결해야 이미지 할루시네이션을 완화 할 수 있음

학습된 데이터 셋 내에 손가락 5개인 이미지가 많으니 6개인 사진을 봐도 5개라고 답하게 되는 것.



추론 모델에서 이러한 현상이 더 많이 관찰되는 이유는
답변이 길어질 수록 이미지 정보를 활용하지 않는다는 연구가 있음.

즉 추론을 할 수록 답변이 길어지게 되니 추론 모델에서 더 많이 발생.




결론


육손문제는 이미지 할루시네이션 문제.
추론 모델에서 더 많이 발생할 수 있음.