[📪정보] "환각 해결은 불가능하다는 것이 수학적으로 증명됨"

[익명(forgot6853)]

https://arxiv.org/pdf/2408.02357

일관된 추론 역설(Consistent Reasoning Paradox)

AI가 다음 조건을 충족하는 특정 시나리오에서:

 1. 일관되게 추론함(동등한 문제 공식화를 인간처럼 처리함).

 2. 항상 답변을 제공함.

 3. 인간과 같은 지능을 모방하는 것을 목표로 함.

환각(hallucination)은 완전히 제거될 수 없으며 무한히 자주 발생합니다.

이 논문은 챗봇과 같은 AI에서 나타나는 환각(hallucination)을 완전히 제거하는 것은 불가능하며, 오히려 무한히 자주 발생할 수밖에 없다는 것을 증명합니다.

이는 인간과 유사한 지능을 모방하려는 시도(여기에는 필연적으로 오류 가능성이 따름)와 불확실성을 인정하여 신뢰성을 확보하려는 노력 사이의 근본적인 trade-off를 보여줍니다.

동시에 논문은 이러한 문제에 대한 해결책으로 "I Don’t Know" 메커니즘을 제시합니다. 핵심은 "I Don’t Know" 메커니즘 없이는 일관된 추론을 유지하고 항상 답변을 내놓도록 설계된 AI 시스템에서 환각을 완전히 제거하는 것이 불가능하다는 것입니다.

이는 기본적인 산수 문제나 최적화 문제와 같이 겉보기에는 단순한 작업에서도 마찬가지로 적용됩니다.

이 정리(theorem)와 증명은 AGI라고 할지라도, 항상 답변해야 하고 일관성 있는 추론을 해야 한다면, 반드시 오답을 내놓을 수밖에 없는 질문들이 존재한다는 것을 보여줍니다.

무한한 환각 현상이 발생하는 근본적인 이유는 튜링의 계산 가능성 이론에 기반한 "계산 가능한 문제"들의 범위가 너무나 넓어서, 어떠한 고정된 알고리즘으로도 모든 문제와 그 다양한 표현 방식들을 완벽하게 처리하는 것은 불가능하기 때문입니다.

"I Don’t Know" 기능이 없다면 문제 해결은 불가능합니다. 왜냐하면 이 증명 자체가 AI가 항상 답변을 내놓는다는 전제를 바탕으로 하고 있기 때문입니다. 만약 AI가 풀 수 없는 문제나 오류가 발생하는 상황에서 "I Don’t Know" 라고 말할 수 있다면, 환각 현상을 일으키지 않고 답변을 거부할 수 있습니다. 하지만 이러한 기능이 없다면, 수학적 구조상 오류는 필연적으로 발생하게 됩니다.

[익명(gj4dc)]

그럼 모른다 기능 넣으면 되자너

[ㅇㅇ 1(124.59)]

그럼 성능 떨어질듯

[Twink(regular6398)]

동시에 논문은 이러한 문제에 대한 해결책으로 "I Don’t Know" 메커니즘을 제시합니다. 핵심은 "I Don’t Know" 메커니즘 없이는 일관된 추론을 유지하고 항상 답변을 내놓도록 설계된 AI 시스템에서 환각을 완전히 제거하는 것이 불가능하다는 것입니다. 본문 내용이 그 내용같은데?

[가즈아(north1843)]

맞말 추 - dc App

[익명(175.118)]

[익명(shore1232)]

환각-신뢰성 사이에 극복할 수 없는 트레이드오프가 있나보네

[익명(bluewarp)]

당연한거라

[익명(akdock5)]

완벽하게 정답만 말하는 AI를 꿈꿨다면 슬플지도

[익명(bluewarp)]

모든걸 정답으로 말하는 전지가 있을리가

[ㅇㅇ 9(121.183)]

최후의 질문 멀티백조차 모르는건 모른다고 했음

[수직(player5319)]

[ㅇㅇ 2(121.159)]

그래서 i don't know가 어떤 수학적 표현으로 기술됨? - dc App

[할랄라루와이(overlap4546)]

인간도 환각 있어서 ㄱㅊ 중요한 건 빈도지

[ㅇㅇ 3(112.186)]

0% 는 안되도 무한히 줄여보자 화이팅

[Asi(worship5388)]

수학 같은 답이 명확한 분야가 아니면 대부분 그렇지 않나? 우리 인간도 어디어디 논문에서 그런 가설이나 주장을 해서 그걸 인용해 내 주장을 뒷받침한다, 뭐 이런식이지 내 주장은 반드시 참이므로 ai가 내 주장을 단 한번이라도 거짓이라고 환각 터트리는 경우가 발생하면 그건 agi가 아니다, 라고 하는 것도 웃기는 노릇 아님??

[Asi(worship5388)]

문제는 공리 처럼 자명한 진리, 참인 것들에 대해서도 환각이 터진다면 그건 문제가 맞지. 근데 세상 문제들은 참과 거짓만으로만 답변할 수 있는 흑백세상이 아니잖아. 사회적으로 인간들이 참으로 받아들이는 상식도 미래엔 얼마든지 수정될 수 있는 문제들이 더 많잖아

[Asi(worship5388)]

이 환각을 최대한 줄이고 메타인지를 확실히 하게끔 만드려면 일단 오감과 장기기억이 있긴 해야할듯. 이 두가지가 있어야 환각이 터질 때 자각을 하고 수정을 하거나 모르는건 모른다고 답변할 수 있을 것 같음.

[특급고통(planetkeke)]

오히려 수학이 더 그럼

[ㅇㅋ임(ijh2005)]

불완전성 정리같은거지 현업 AI업계에서 목표로 하는 환각극복과는 전혀 상관없는 뜬구름 잡는 얘기 ㅇㅇ

[ㅇㅋ임(ijh2005)]

저게 의미있으려면 초지능되어서 우주시대 정도까진 가야하지 않을까 싶다

[ㅇㅇ 4(14.32)]

인간도 환각이 있잖아 대신 환각인 경우에는 최대한 자기검증해나가거나 줄이는 방식으로 나가야할듯.. o1 pro 만 해도 진짜 환각 엄청나게 줄었음..

[ㅇㅇ 5(175.200)]

인간도 환각 있는데 당연

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[특갓맨(nevermagic)]

너무당연해서 어이가없노 ㅋㅋ - dc App

[멘토스(gblzvhbddpj2)]

[ㅇㅇ 6(14.46)]

느낌적으로 아는거랑 증명이랑 차이가 뭔질 모르노 얘넨..

[익명(211.222)]

ㄴ별로 궁금하지도 않던거 증명해줘서 감사합니다라도 해야하냐 그럼 그냥 그런갑다 하는거지 진지충이노

[ㅇㅇ 14(219.241)]

특슬람과 반지성주의를 동시에 하는 놈들이 많다는게 참

[익명(211.63)]

환각이 해결불가능하다는걸 수학적으로 증명해낸 것 자체가 환각일 수 있는건가?

[이세이미야케(jkwarawara)]

모든걸 환각없이 답하는 AI는 신이나 다름없잖아

[익명(cleep00001)]

해결이 불가능하다기보단 걍 지식의 끝이 어딘지 알수없는게 제일 큰거아님?

[ㅇㅇ 7(27.35)]

기술계에 있어서는 큰 의미없음

[ㅇㅇ 8(110.13)]

결론이 이상하네

[익명(121.142)]

인간 환각은 아구 돌리면 해결되던데.. Ai도 어떻게 안될까?

[ㅇㅇ 10(175.198)]

걍 생각해보면 당연한거 같긴 함 예를들어 신은 존재하냐고 물어보면 존재한다/존재 하지 않는다/모른다 여기서 모른다의 선택지가 없으면 그게 환각이잖아

[익명(help2538)]

[익명(g1t28kbvprci)]

메타인지 ㅇㅇ - dc App

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

물리적 한계 내의 지능으로서 당연한 건데

[익명(211.192)]

돌연변이 없인 진화도 없었지

[익명(germany1595)]

그래서 조직 ai가 필요함. ai끼리 의견교환하고 서로 아는거 모르는거 논의해서 정답내주는. 에반게리온에 나오는 3코어 마기 같은거임

[ㅇㅇ 11(61.105)]

애초에 불완전성 정리 정지문제 비트겐슈타인 얘네 세 명이 100년 전에 알아낸 사실

[익명(jed0154)]

앎(모름)

[특급고통(planetkeke)]

인간도 환각 있다는 넘들은 진지하게 말하는 거임? 사람은 실수해도 자기 생각을 고칠 수 있는데 반해 ai는 실수해도 이용자가 지적해주기 전까지 절대 모름 심지어 반대로 지적하면 홀랑 속아넘어가기까지 함

[ㅇㅇ 12(175.118)]

인간도 남이 지적해주기 전까지 자기 실수 못고치는 경우가 있어서

[특급고통(planetkeke)]

그건 대체로 게으름이나 감정적인 이유 때문이지 지능 문제는 아님

[익명(hyeongim264)]

특갤 뉴비 너무 티나노 - dc App

[익명(aidam3999)]

게으름이나 감정 통제 못하는것도 능지에 포함되는거 아님?

[특급고통(planetkeke)]

부지런해지거나 감정이 해소되면 바로 해결되는 문제라 능지이슈로 보기는 좀... 그래도 미심쩍으면 아예 감정이 개입될 여지가 없다시피한 수학에서 인간이랑 ai가 어떤지 생각해봐

[익명(daily3477)]

리만가설 증명법 반드시 뱉어내라고 하면 개소리 줄줄 내뱉을 수밖에 없지

[ㄴㄱ(tiger0003)]

정렬시키는거처럼 환각못뱉게 메타인지 세뇌시켜야지

[점심밥(yield0917)]

[ㅇㅇ 13(1.241)]

환각 낮추는 법은 쉽잖아. Ai 여러개 동시에 돌려서 정확도를 높일 수 있음

[바다기린(hancomputer)]

안!!!! 돼!!!!!!!!

[바다기린(hancomputer)]

아 근데 읽어버니까 당연한 말 같은데

[익명(condemn4465)]

뭐 말장난이지 99.999퍼로 환각 줄여도 해결안된거니까 - dc App

[유동골뱅이(cost2734)]

몰?루? - dc App

[ㅇㅇ 15(124.53)]

환각을 줄이는게 관건이겠네

[익명(121.165)]

저건 좋은 방향이네. 모르는 건 모른다 해야지

[익명(aidam3999)]

ㄹㅇ

[엑스트라1(gksrmfdla1)]

한번쯤 생각해보던 거였는데 마침 관련된 내용이네 ai가 모르는건 모른다고 답하게끔 하는게 좋지않은가 하고

[lIlIllIlIIlIlIllIlIl(kimfesu)]

응 초지능이면 해결되고 모든 인류의 지적지식을 이용해도 증명할 수 없는 환각이면 의미없어~

[ㅇㅇ 16(58.29)]

당연한 소리 아니냐 당연히 알 수 없는걸 강제로 정답을 말하게 하면 개소리라도 하겠지

[ㅇㅇ 17(221.151)]

근데 환각을 굳이 해결해야하나 오히려 발전시켜서 추상화 전문 모델을 만드는것도 괜찮을거같은데

[호메로스(easy4838)]

몰라레후

[ㅇㅇ 18(211.107)]

그냥 불완전성 정리 비슷한거네. 별 의미 없는듯