아무리 적극적으로 인공신체에 자극을 줘도, 사회환경과 인지환경을 아무리 풍부하게 만들어줘도, 감각을 아무리 강하게 만들어줘도 결국 인공뉴런이 점진적으로 활동정지에 빠지고 만다. 중뇌 부분의 의식에 관련된 신경이 처음으로 죽어버린다. 이러면 인공정신은 튜링 테스트는 통과할 수 있지만, 의식에 관한 ISO 기준에는 미치지 못한다. 철학적으로 좀비나 다름없게 된다.

결국 이 일련의 기능정지 현상이 인공정신이 기본 네트워크(생체 뇌에서라면 ‘창문의 빛’ 이라 할만한 것)를 유지하지 못할 정도로 일어나게 된다. 두뇌상태를 처음으로 돌려서 다시 실험해봐도 똑같은 결과는 피할 수 없었다.
왜 이런 자기 목조르기가 나타나는 걸까?
처음엔 해답은 간단할 거라고 생각했다. 동물원 우리 속을 맴도는 호랑이처럼 인공정신이 인공신체로부터 충분한 자극을 받지 못한거라고 생각했다. 감각을 박탈당한 인간은 미치기 마련이다. 인공신체에 정신에 꼭 필요하지만 아직 알려지지는 않은 어떤 감각같은 것이 부족했을지도 모른다.
지금 돌아보면 엇나간 생각이었다. 과도한 자기인과 현상이 진짜 문제였다. 만약 철학자 윅이 말했던 것처럼 “우리가 바로 우리의 가장 큰 원인” 이고 미래의 우리가 전적으로 현재의 우리의 두뇌상태에 따라서 정해지기 때문에 “계속 우리”라면, 패러독스가 생긴다.
우리가 우리 자신으로 남아있으려면 겪는 변화의 양을 제한해야 한다. 예를 들어서 뇌가 뜨거운 가스 구름으로 바뀐다면 당연히 죽게 될 것이다. 그럼 어떤 변화까지 허용되는 것인가? 우리가 전혀 바뀌지 않는다면 우리가 아니게 되는 걸까? 미래의 상태가 현재의 상태에 달려있는 거라면 말인가?
인간의 정신은 끝없는 자가교정을 반복한다고 본다. 자기순환을 방해할 수도 있는 외부의 원인을 걸러내기 위해 정신은 자기자신에 지속적으로 체크섬 검사를 실행해 오류를 가린다. (우주 방사선, 자기장, 프리온, 화학적 불발, 짜증나는 대화같은 것들 때문에 생기는 오류들을) 어쩌면 이 반복되는 자기점검이 의식의 근원 그 자체일지도 모르는 일이다!
하지만 인공정신은 자연적으로 발생하는 오류에 면역이나 다름없다. 그러니까 문제점이 너무 부족하다는 말이다. 신경과민도 기능저하도 충분한 양이 일어나지 않는다.
AI를 훈련할 때는 학습주기마다 임의의 뉴런을 없애서 그 부분 없이도 기능하는 법을 배우도록 한다. 이렇게 더 튼튼하고 안정적인 인공지능을 만들 수 있다. 이건 불규칙한 오류와 엔트로피가 왜 뇌의 생명을 유지하는데 꼭 필요한지를 보여주는 점이다. 이런 과정이 없다면 AI는 과적합 상태에 빠질 위험이 있다. 특정한 자극에 완벽하게 적응해서 단적이고 좁은 정형화된 행동에 스스로를 묶어버리고 다른 종류의 자극에는 아무 반응을 보이지 않는 것이다.
엔트로피를 상쇄하지 않으면 인간의 정신을 유지하기 위한 자가교정의 과정 그 자체가 정신을 굳히고 죽여버리고 만다.
이것이 바로 인공정신이 실패하는 이유라고 생각한다.
인공정신을 도덕성으로부터의 대피처로 만들기 위해서는 잡음을 만들어낼 좋은 원인을 찾아야 한다. 생물학적 오류의 복제로는 충분하지 않다. 인공정신은 애초부터 그런 육신의 잡음에 면역으로 설계되었으니까.
오류를 어떻게 만들어야 할까?