[📪정보] 생성형 AI의 구조적 문제, '환각'이란 무엇인가

[익명(121.54)]

이처럼 사실이 아닌 내용을 LLM(Large Language Model)이 마치 사실처럼 꾸며서 답변하는 현상을 인공지능의 환각(Hallucination)이라 부른다.

이같은 인공지능의 환각은 생성형 모델의 구조적인 문제라고 할 수 있다.




선택된 인공지능의 환각, ‘생성형 언어 모델의 환각’

딥드림의 인공지능의 환각처럼, 챗GPT의 환각도 생성형 모델(Generative Model)이 갖는 특성에서 발생한다.

글과 소설을 생성하기 위한 생성형 언어 모델은 앞의 내용을 기반으로 다음 단어를 예측한다. 일반적인 예측은 가장 확률이 높은 것을 선택한다.

그런데, 앞의 내용이 동일한 경우 인공지능 모델의 예측은 변하지 않는다. 따라서, 챗GPT 모델과 같은 언어모델은 동일한 질문에 대해서 항상 동일한 예측을 한다.

그러나, 항상 동일하게 문장을 만들어 내는 것은 문장을 그냥 복사하는 것과 크게 다르지 않을 것이다. 때때로 새로운 문장을 생성할 수 있도록, 생성형 언어 모델에 확률적 선택을 추가한다.

https://www.google.com/amp/s/www.gttkorea.com/news/articleViewAmp.html%3fidxno=5261

[강승우의 머신러닝 이야기] 인공지능이 꾸는 꿈, ‘AI의 환각’

[익명(eng1010)]

그냥 온도랑 Top P 조절하면되는거 아님?