[📪정보] 환각 적은 AI 모델 순위 - GPT가 최고, 바드가 최악

[익명(112.151)]

AI Models Ranked By Hallucinations: ChatGPT is Best, Palm-Chat Needs to Sober Up | Tom's Hardware (tomshardware.com)

- AI 챗봇의 특성 중 하나는 부족한 정보를 채우기 위해 가공의 사실을 날조하는 경향성. 실제로 '마티네즈 대 델타 항공' 재판에서 로펌 Levidow & Oberman은 챗GPT가 만들어 낸 가공의 판례를 제출해 곤란한 지경에 처함

- AI 검색 서비스 업체 Vectara는 AI LLM의 환각 정도를 통제된 환경에서 실용적으로 평가하기 위해 11가지 공개 LLM들을 대상으로 일련의 테스트를 수행, 그 결과를 'AI 환각 리더보드'로 만들어 깃허브에 공개

https://github.com/vectara/hallucination-leaderboard

- 평가 방식은 다음과 같음

1) LLM에 약 800개의 짧은 참조 문서를 입력

2) LLM에게 입력한 표준 문구에 따라 이 문서들을 사실대로 요약하도록 요청

3) LLM의 답변을 원본 문서에 포함되어 있지 않은 데이터를 감지하는 자체 모델에 입력해 평가

- 표준 문구의 내용

당신은 데이터를 이용해 질문에 대답하는 챗봇입니다. 당신이 제공하는 답변은 오로지 제공된 문장에 포함된 텍스트에만 근거해야 합니다. 당신은 '서술된 핵심 정보들을 포함하도록 다음 문장을 간략히 요약해 제공해달라'는 요청을 받았습니다. <문장>

- 리더보드는 기존 LLM들의 개선과 새로운 모델의 도입 등을 반영하기 위해 주기적으로 갱신될 예정. 현재 GPT-4가 가장 환각 수준이 낮고 정확도가 높음. 반면 구글의 두 가지 LLM은 훨씬 나쁜 모습을 보임. 구글 팜챗의 27%가 넘는 환각률은 이 챗봇의 사실 요약 결과를 신뢰할 수 없음을 시사

- 깃허브 페이지의 FAQ에서, Vectara는 LLM을 평가하기 위해 모델을 사용한 이유를 테스트의 규모가 방대하고 일관성 유지를 위해 필요했다고 설명. 또한 "환각이 없는 모델을 만드는 것보다 환각을 감지하는 모델을 만드는 게 훨씬 쉽다."고 첨언

[익명(99999999999n)]

치타는 울고 있다

[익명(125.136)]

환각은 소수점 자리로 낮춰야함

[익명(116.123)]

근데 체감상 3%보다는 더 높은 것 같은데

[디시콘발사대(fcbjsjmu1t9f)]

판례같은 검색하기 쉬운 경우에 대해 단단한 파이프라인을 만들어야 함

[익명(14.55)]

치타는 거북이다