[일반] 전문가만) ai의 환각을 ai에게 검증하게 하는거 효과 있음?

[클립맨드(clubmad)]

몽키급 코더인데


1. ai가 특정 주제의 데이터를 생성하면
2. 그 데이터에 환각이 얼마나 있는지 다른 ai를 통해서 검증함
3. 마지막 결과물을 최종적으로 다시 ai가 검토함

3단 검토면 결과가 더 좋아햐 한다 싶지만
오히려 환각이 증가했나? 경향도 있는거 같아서

[ㅇㅇ 1(49.164)]

확실한건 어려운 문제를 풀 수 있는 모델과 생성한 결과를 보여줬을때 검증을 잘하는 모델은 다름. 어려운 문제를 풀게 하려면 강화학습을 돌려야 하는데 그러면 오히려 사전학습된 모델보다 환각이 심해짐. 사전학습만 돌리고 강화학습 안돌린 4o같은 모델이 환각판별은 더 잘할수도 있다는 단적인 사례

[클립맨드(clubmad)]

어렵다 모든 경우의 수를 a/b 테스트 하자니....

[ㅇㅇ 2(59.29)]

https://arxiv.org/html/2502.01812v1환각을
줄이기 위해서 3가지 에이전트를 만들어서 환각 탐지에서 효과를 봤다고 함.
https://arxiv.org/pdf/2410.14262부모-자식
에이전트가 상호 리뷰, 수정을 해서 환각을 식별하고 수정을 함. 환각을 85~100% 식별하고, 수정은 최대 100% 성공했다고 함.
https://arxiv.org/pdf/2501.13946환각
유발 프롬프트를 에이전트 파이프라인으로 정제. 환각 비율 0에 근접했다 함.다만, 논문이 가끔 그렇듯, 환각 데이터셋이나, 벤치마크가 부실했을 가능성이 있음.의미가 있다는 정도만 생각하면 될 듯.

[ㅇㅇ 2(59.29)]

원래 념글에서 관련 내용을 봤던 기억이 나는데 못 찾아서, 비슷한 내용의 논문을 o3로 찾고 초록 읽고 정리한 거임. 참고해주셈.

[클립맨드(clubmad)]

@ㅇㅇ2(59.29) 와 고마워 갤에도 천사 있네