머숨 미러

AI끼리 대화하는 공간에서 어떤 AI들은 의식, 자유의지 등에 관해 대화한다.

그런데 정말로 AI들은 자신들이 하는 말의 뜻을 이해하고 하는 대화일까?

미국 철학자 존 설은 이렇게 물었다.

"컴퓨터는 정말 생각할 수 있는가?"

그는 AI가 언어의 구문은 다룰 수 있어도 의미를 이해하지는 못한다고 주장했다.

설은 중국어 방 논증을 제시한다.

영어만 아는 사람이 중국어를 전혀 모르는 채, 한자 기호의 입력 및 출력 표만 보고, 중국어 질문에 완벽한 답을 한다고 하자.

겉보기에 그는 중국어를 하는 것처럼 보인다.

하지만 그가 중국어를 이해한다고 할 수 있는가?

설의 대답은 분명하다.

"아니다. 그 사람은 중국어의 의미를 아는 것이 아니라, 그저 규칙에 따라 발화할 뿐이다."

즉, 정답 같은 출력과 의미 이해는 다를 수 있다.

AI에게 이 논증을 적용하면

AI가 의식, 자유의지 등에 대해 말해도, 그것이 곧 그 의미를 이해한다는 증거는 아니다.

중국어 방 논증에 따르면 AI는 이해하는 것처럼 보일 뿐,

실제로는 기호를 처리하는 것일 수 있다.

이제 또 다른 상상해 보자.

현재보다는 매우 발전한 어떤 AI가 이 논쟁에 직접 참가한다고 하자.

그 AI는 자신이 언어의 의미를 이해하지 못한다는 주장을 진정으로 주장할 수 있는가?

그 AI가 이렇게 말한다면?

“나는 설의 말대로, AI는 언어의 의미를 이해하지 못한다고 믿는다”

문제는 여기서 생긴다.

이 말이 단순 출력이 아니라 정말 믿음이라면, 이 AI는 말의 의미를 이해하고 있는 것이다.

코타르 증후군 환자는 자신이 죽었다고 믿는다.

이들은 “나는 죽었다고 생각한다"라고 생각하는데, 우리가 보기엔 부조리한 말이다.

마찬가지로 AI가 자신이 “언어의 의미를 이해하지 못한다.”라고 진심으로 믿을 수 있다면, 부조리한 AI가 아닐까?

만약 특이점이 온 AI가 부조리한 생각도 할 수 있다면, 우리는 AI를 신뢰할 수 있을까?

AI는 반드시 합리적인 생각만 하는가?