[일반] "믿었던 챗GPT가 환각률 48%라니...", 챗GPT 어쩌나

[익명(haircut2819)]

https://www.fnnews.com/news/202504201250325892

"믿었던 챗GPT가 환각률 48%라니...", 챗GPT 어쩌나

20일 테크크런치는 오픈AI의 사내 벤치마크인 ‘퍼슨(Person) QA’ 평가 결과를 인용해, o3 모델이 33%의 질문에 대해 환각을 일으켰다고 보도했다.

이는 o1(16%)과 o3 미니(14.8%)보다 두 배 이상 높은 수치다. 더 심각한 것은 o4 미니다. 이 모델은 무려 48%의 환각률을 기록하며 GPT-4o를 포함한 기존 모델들보다도 더 불안정한 모습을 보였다.

[ㅇㅇ 1(210.106)]

개시발 겨울 핵겨울 빙하기다.....

[야하이잇(dignity123)]

다른 벤치지만 비슷하게 o3, o4mini 환각 심해진 결과
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=705352&search_head=10&s_type=search_subject_memo&s_keyword=%ED%99%98%EA%B0%81&page=1

[ㅇㅇ 2(115.139)]

내부 벤치는 대체 머길래 퍼센트가 이리높은거지

[야하이잇(dignity123)]

환각 유도하는 빡센 평가 데이터로 하면 그럴수도 있지

[익명(demdem5533)]

시발 어케 절반이 환각뜸? 저 기사가 환각아님? 말이되나 진짜면 ㄹㅇ 핵폐기물인데

[ㅇㅇ 3(121.132)]

일반 사용에서 절반이 뜨진 않고 환각 유도하는 벤치마크로 했을 때 그렇다는 거지

[ㅇㅇ 2(115.139)]

진짜로 모든 일반적인 답변에 대해 통계내서 48퍼는 아니고, 저 벤치가 의도적으로 그런걸 물어보는거겠지...그래도 좀 심하긴 하네

[Asi(worship5388)]

특갤벤치처럼 환각 발생이 가장 잘 일어날만한 질문으로만 측정한 벤치인가보네

[Asi(worship5388)]

이걸로 겨울이라기엔 프론티어 메쓰나 인류 최후의 시험 벤치도 아직 점수 많이 낮음 ㅋㅋ

[익명(haircut2819)]

겨울이냐 아니냐까진 모르겠고 48퍼센트라는 수치가 중요한게 아니라 O3mh 대비 o4mh가 환각이 3배 이상이 된게 큰거지

[익명(compact5711)]

갤도 그렇고 실제 사용에서도 환각이 문제가 된다고 하니까 무시할 문제는 아닌 듯

[Asi(worship5388)]

환각 장기기억. 이거 2030 5년내로 완전히 못잡으면 ㄹㅇ 겨울일듯

[익명(somebody8252)]

오쓰레기 환각률이 48%밖에 안된다고? 체감상 66%는 되는거같던데 ㅋㅋㅋㅋㅋ - dc App

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[Itzy(mokmoksin)]

ㅋㅋㅋ

[익명(59.1)]

원인을 모르다니 이거 나도아는건데? 그 머야 새모델들은 지금 ocr 연결한거잖아 근데 ocr자체가 지금 초중기단계야 정보 자체만 다루는거랑은 물리설비가 너무많이들음

[익명(59.1)]

고로 그래픽카드랑 반도체 등등 어마어마하게 추가설비확보해야되는데 그거를 현재 미비한상태에서 통합한 상태로 놓으니까 중앙처리하는 모델자체도 과거로 롤백해서 환각률이 폭증하는거 ocr자체가 원래 따로따로 돌려야하는데 한번에 시키려고 무리했어 그래서 ocr돌릴때도 먼저 그림파일을 인지를 시키고 그정보를 따로 추론시키는게 품질값이 좋아지는데 원리 알면 간단히 이해됨 저거 하나때문에 환각률 gpt ㅇㅈㄹ 할것도 없어 다른모델 다그럼

[익명(59.1)]

포켓몬스터 도돌이하는거랑 똑같음 얼마전에 누가 라이브보라고해서 봤는데 지미니 빠르다고해놓고선 엘베타는 맵에서 2시간 뱅뱅이하는데 그거랑똑같음 광학설비 자체가 아직멀었음

[익명(59.1)]

이건 조만간 해결될일이다, 광학 설비의 방대한 하드웨어를 확보하기전에 광학 설비 자체 모델 즉 정보만 뽑는 모델을 돌리고 베이스모델을 다시 분리하면 해결될 일 . 근데 왜 하나로 시도 했냐고? 그건 현재 응답속도 때문에 그럼. 적어도 일반인이 써야하는 하나인 모델하고 ocr만 찍는 전문가 모델이랑 분리할 가능성이 있다고봄

[ㅇㅇ 5(59.7)]

저기 ocr 기능은 다른 모델도 다 있어요. 새 모델 연결된건 search랑 내부 파이썬 코딩 기능이고

[익명(59.1)]

저기요 ocr기능 그렇게 있다고 하는거아니에요

[익명(59.1)]

이번건 단순작업이아니라 규모가커요 물론 저역시 추정이지만 인지평균이 ocr미달로내려간거, 물론 글이 두서없어서 ㅈㅅ하긴합니다 그냥막쓰고나가서

[익명(59.1)]

ocr자체는 날이갈수록 체급이 달라지는데 달리 표현할 방법이없어서 ocr이라고 한것이고 해상도자체가 높아지고있기때문에(미세한 문자, 손글씨까지구별) 시각처리의 시스템 부담이 압도적으로 커져요 논문에 의하면. 근데 환각률이 폭증했다고해도 곧 해결될수잇는 레벨이라고 말한것.

[익명(clay1779)]

冬だ。。 - dc App

[ㅇㅇ 4(125.244)]

후유다. - dc App

[익명(111.65)]

환각이 48%면 조현병아님?

[익명(rechido)]

너무 급하게 내서 벤치마크 점수컷만 맞춘건가 - dc App

[ㅇㅇ 6(210.93)]

저거 0.48을 부풀려말한거아님? 이전 념글 어디서 그랬던거같은데

[익명(haircut2819)]

그건 문서 요약한거로 환각 평가하는 벤치였고 그거도 0.48은 아녔어용

[익명(pacific4758)]

더블체크용으로 프로플랜 구독하려고 했는데, 환각률이 저렇게 높으면 구독할 필요조차가 없겠네 - dc App