[📪정보] 특이점 입문 3편

[미래가온다(175.223)]

자

글의 전 편에서 우리는 우리의 일상 도처에 있는 약인공지능들을 얘기하고 왜 약인공지능에서 강인공지능으로 가는 길이 큰 도전이란가를 얘기했으며 왜 기술진보의 지수적 성장으로 강인공지능이 그리 멀지 않음을 얘기했다. 1 편의 끝에서 우리는 기계가 인간 수준의 지능에 도달하기만 하면 아래와 같은 광경이 벌어질 것이라고 얘기했다:

우리는 심리적으로 받아들이기 어려울 것이다. 특히 초인공지능이 우리가 살아있을 때 발생할 수 있다는 점을 고려한다면 우리는 도대체 어떤 표정으로 이 현실을 직면해야 할지 모른다.

이 화제를 더욱 깊게 파기 전에 우리는 초인공지능이 뭘 의미하는지를 다시 한번 리마인드해보자.

아주 중요한 구별점을 무시해서는 안되는데 바로 속도상의 초인공지능과 퀄리티상의 초인공지능의 구별이다. 많은 사람들은 인간만큼 총명한 초인공지능이라고 하면 첫번째 반응은 그것의 속도가 매우 빠르다는 것이다 — 계산속도가 인간의 100만배인 기계처럼 인간이 수십년에 걸쳐 생각해낼 수 있는 것을 몇분 안에 생각해낸다.

물론 이건 대단하다. 사실 초인공지능은 확실히 인간보다 사고가 훨씬 빠르다. 하지만 진정한 구별점은 사실 지능의 속도보다는 지능의 퀄리티에 있다. 인간으로 비유를 한다면 인간이 침팬지보다 총명한 것은 사고 속도면의 차이가 아니라 우리의 뇌가 독특하고도 복잡한 지능 모듈이 있기 때문인데 이런 모듈들로 우리는 복잡한 언어를 구사하고 장기적인 계획을 세우며 추상적인 생각을 한다. 하지만 침팬지의 뇌는 이런 것을 할 수가 없다. 침팬지의 뇌의 속도를 수천배로 높여봤자 인간의 차원에서 생각을 할 수 없으며 특정 복잡한 도구를 사용하여 정교한 모델을 만들 줄 모른다 — 인간의 많은 인지능력은 침팬지가 영원히 따라잡을 수 없는 것이다. 아무리 많은 시간월 줘도 소용없다.

그리고 인간과 침팬지의 지능의 차이는 침팬지가 우리가 할 수 있는 일을 할 수 없는 정도가 아니라 침팬지는 이런 일들이 존재한다는 것 자체를 모른다는 것이다 — 침팬지는 인류가 무엇인지를 이해할 수 있고 고층빌딩이 무엇인지를 이해할 수 있지만 고층빌딩이 인간이 만들어냈다는 것을 이해할 수가 없다. 침팬지들이 보기에는 고층빌딩처럼 거대한 물건은 당연히 원래부터 존재하는 것이지, 끝. 침팬지들은 자기가 고층 빌딩을 만들어내지 못할뿐만아니라 고층 빌딩이 만들어 낼 수 있는 물건이란 걸 이해할 수가 없다. 이 모든 차이는 실은 지능의 퀄리티 차원에서의 미세한 차이로부터 발생한 것이다.

그리고 사실 우리가 인공지능을 토론할 때 지능의 범위는 굉장히 넓다. 이것과 비길진대 인간과 침팬지의 차이는 미세하다. 만약 모든 생물의 인지능력들이 하나의 계단이라면 서로 다른 종들이 계단에 선 위치는 대체적으로 아래와 같다.

초지능을 가진 기계가 얼마나 불가사의한가를 이해하기 위해 윗 그림에서 진한 초록색위에 서있는 하나의 기계를 가정하자. 그 물건은 인간보다 두층만 높다, 인간이 침팬지보다 두층 높듯이. 이 기능은 초지능을 쪼금만 가지고있을 뿐인데 인류에게 있어서는 침팬지에 있어서의 인류나 마찬가지이다. 침팬지가 인류가 고층빌딩을 만들어낼 수 있다는 것을 이해할 수 없듯이 우리 인간도 인간보다 두층 높은 기계가 어떤 것을 할 수 있을 지 상상을 할 수 없다. 그 초지능이 우리에게 설명을 해줄려고 해도 효과는 마치 우리가 침팬지에게 고층 빌딩 건축 방법을 설명하려고 하는 격이 된다.

하지만 이것도 그냥 우리보다 두층만 높은 지능일 뿐이다. 이 계단의 꼭대기에 있는 지능은 인류에게 있어서 인류가 개미에게 있어서의 존재나 같다 — 그것이 아무리 많은 시간을 들여서 인류에게 가장 간단한 것을 가르칠려고 해도 배워지지 않을 것이다.

하지만 우리가 토론하려고 하는 초지능은 이 계단의 꼭대기에 있는 것이 아니라 이 계단보다 훨씬훨씬훨씬훨씬 높은 곳에 있다. 지능폭발이 발생할 때 그것은 아마 수년이란 시간을 들여서야 침팬지 그 층에서 위하 한층 올라갈 수 있겠지만 이 걸음은 점점 빨라질 것이다. 뒤로 가면 아마도 몇시간이면 한층 밟을 것이며 그것이 인간보다 10층 높은 위치까지 간 후에는 아마 점프하면서 계단을 오를 것이다 — 1초에 네층을 올라간다는게 뭐 안될게 아니다. 결론적으로 기억해두자, 첫번째 인간수준의 강인공지능이 출현한 후에 우리는 아마 매우 짧은 시간 뒤에  아래 그림에서처럼 매우매우매우매우 높은 계단에 서있는 지능을 맞이하게 될 것이다 (심지어 이것보다 100만배 높을 수도 있다).

앞에서 이미 말했듯이 우리보다 두층만 높은 기계를 이해하려고 하는게 이미 헛된 노력일 뿐이니 우리는 초인공지능이 뭘 할 수 있는지 알 방법이 없고 이런 일들의 후과도 알 수 없다. 그 어떤 아는 척 하는 사람들은 다 초인공지능이 뭔지를 이해하지 못했다.

자연진화는 수역년이란 시간을 거쳐 생물의 뇌를 만들어냈는데 이런 이론에 의하며 인류가 초인공지능을 만들어내기만 하면 자연 진화를 짓밟아버린 것으로 된다. 물론 이 자체도 자연진화의 일부분일 수도 있다 — 진화의 진정한 목적이 이러할지도 모른다: 여러가지 지능을 만들어내 그중 하나가 드디어 초지능을 만들어내고 이 시점은 지뢰의 트립와이어 (Tripwire) 를 밟은 것처럼 전세계적인 지능 폭발을 초래함으로 모든 생물의 운명을 바꿔버리게 된다.

과학계의 대부분 인사들은 트립와이어를 밟는 일이 일어날 것인가 얼어나지 않을 것인가의 문제가 아니라 언제 읽어나는가의 문제라고 생각하고 있다. 후덜덜.

그럼 우린 어떻게 해야 할까?

불행히도 우리에게 트립와이어 후에 무엇이 발생할지를 알려줄 수 있는 사람은 없다. 하지만 인공지능 사상가 Nick Bostrom 은 우리에게 두가지 가능한 결과가 있다고 믿는다 — 영생과 멸종.

우선 우리가 역사를 회고해보면 대부분의 종들은 이런 여정을 거쳤다는 것을 알게 된다: 종의 출현, 일정 시간 존재한 후, 불가피하게 존재 (Existence) 의 평균대 (Balance Beam) 에서 떨어져 멸종의 심연속으로 추락한다.

역사적으로 보면 “모든 종은 결국 멸종될 것이다” 란 말은 마치 “모든 사람은 결국 죽게 될 것이다” 란 말만큼이나 말이 된다. 지금까지 존재했던 생물 종들의 99.9% 가 모두 존재의 평균대에서 떨어졌다. 만약 어느 종이 아직까지 존재의 평균대 위에서 계속 걷고있다면 어떤 한줄기 자연의 바람이 휘몰아쳐 그 종을 평균대에서 떨어뜨리는 것은 오직 시간 문제이다. Bostrom 은 멸종을 일종의 흡인상태로 취급한다 — 모든 종은 모두 그곳으로 추락될 위험이 있으며 한번이라도 떨어지면 다시 돌아올 길이 없다.

비록 대부분 과학자들이 모두 하나의 초인공지능이 인류를 멸종시킬 능력이 있다고 인정하지만 그중 일부는 잘만 대처하면 초인공지능은 인류와 기타 종을 도와 다른 하나의 흡인상태 — 영생에 도달할 수 있다고 믿는다. Bostrom 은 종의 영생은 멸종과 마찬가지로 흡인상태라고 믿는다. 즉 우리가 한번 영생에 도달하기만 하면 우리는 더이상은 멸종의 위험속에 노출되지 않게 된다 — 우리는 사망과 확률을 이겨낸 것이다. 그래서 비록 지금까지 절대다수의 종이 평균대에서 떨어져 멸종되었지만 Bostrom 은 평균대 밖에 두개의 면이 있다고 믿으며 다만 지금까지 지구상의 생명들은 모두 어떻게 다른 한 흡인상태로 가는지 몰랐을 뿐이라고 한다.

만약 Nick Bostrom 등 사상가들의 생각이 정말로 맞는 것이라면 ( 그리고 내가 읽은 자료들에 의하면 그들의 결론이 정말 맞는 것 같았다) 우리는 아래의 두가지 사실을 받아들일 수 밖에 없게 된다:

1. 초인공지능의 출현은 사상 처음으로 종의 영생이라는 이 흡인상태가 가능하게 해줄 것이다.
2. 초인공지능의 출현은 아주 엄청난 충격으로 될 것이며 이 충경은 인류를 평균대에서 떨어뜨려 둘중 하나의 흡인상태로 빠져들게 할 것이다.

아주 가능한 한가지 광경은: 자연진화가 트립와이어를 밟았을 때 그것은 인류와 평균대 사이의 관계를 영원히 바꿔놓을 것이며 완전히 새호운 세계를 열어제낄 것이다 — 그때 인류가 존재하든 하지 않든.

그러면 지금의 문제는 “우리는 언제 트립와이어를 밟을 것인가?” 와 “평균대에서 떨어진 우리는 어느 흡인상태로 빠질 것인가?” 이다.

아무도 답을 모른다. 하지만 일부 아주 똑똑한 분들이 이미 수십년이나 생각을 굴려왔다. 그러면 아래 우리는 그것들이 어떤 것들을 생각해냈는지를 봐보도록 하자.

우선 우리는 “우리는 언제 트립와이어를 밟을 것인가?” 라는 문제를 봐보도록 하자. 즉 첫번째 초지능이 언제 탄생할 것인가 하는 문제이다.

놀랍지 않게 과학자들과 사상가들은 이 문제에 대해 의견이 많이 엇갈린다. 많은 학자들 예를 들어서 Vernor Vinge 교수, 과학자 Ben Geortzel, SUN 의 창업자 Bill Joy, 발명가이며 미래학자인 레이 커즈와일 (Ray Kurzweil) 등은 머신 러닝 전문가인 Jeremy Howard 의 관점을 믿고있다. Howard 는 TED 강연때 아래의 그림을 사용했었다.

이런 사람들은 초지능이 멀지 않은 미래에 발생할 것이라고 믿고있다. — 비록 머신 러닝이 지금은 발전이 더디지만 기하급수적인 성장으로 인해 미래 수십년에는 빠르게 발전할 것이라는 것이다.

기타 분들 예를 들면 마이크로소프트의 공동창업자인 Paul Allen, 심리학자 Gary Marcus, 뉴욕 대학교 (NYU) 의 컴퓨터 과학자 Ernest Davis, 기술 창업자인 Mitch Kapor 등은 커즈와일 등 사상가들이 인공지능의 어려움을 과소평가했다고 생각하며 우리는 아직 트립와이어에 도달하기까지 굉장히 멀다고 믿는다.

하지만 커즈와일파들은 유일하게 과소평가된 것은 사실 기하급수적 성장의 포텐이라고 믿으며 자신들의 이론을 의심하는 사람들을 1985 년에 발전이 느린 인터넷을 보면서 인터넷이 장래에 큰 영향력이 있는 사물로 될 수 없다고 단정짓는 사람들과 비교한다.

의심자들은 지능 영역의 발전이 이루어야 하는 진보도 역시 기하급수적으로 성장하는 것이어서 기술 발전의 기히급수적 성장을 상쇄시킬 것이라고 믿는다.

이렇게 쟁론은 계속되왔고 지금도 계속되고있다.

Nick Bostrom 을 비롯한 세번째 진영도 있는데 위의 두 파별이 모두 자신들에 트립와이어의 시간에 대한 확신을 그토록 가질 이유가 없다고 생각하며 동시에 이런 두가지 의견을 갖고있다: a) 이 일은 멀지 않은 미래에 발생할 수도 있고, b) 이것 또한 모를 일이어서 생각보다 오래 걸릴 수도 있다.

그리고 이상 세가지 진영에 다 속해있지 않는 사람도 있다. 그 예로 철학가 Hubert Dreyfus 인데 세 진영 모두 너무 순진하다고 생각하며 트립와이어는 전혀 존재하지 않으며 초인공지능은 불가능할 것이라고 여긴다.

이상 모든 사람들의 관점을 모두 통틀어서 보면 어떤 모양새일까?

2013년에 Nick Bostrom 은 수백명의 인공지능전문가들을 대상으로 하는 설문조사를 진행했다. 설문조사의 내용은 “당신은 강인공지능이 언제 생길 것 같습니까?” 이고 상대방으로 하여금 낙관적인 예측 (강인공지능이 10% 의 가능성으로 이때 생길 것 같다) , 정상적인 예측 (강인공지능이 50% 의 가능성으로 이때 생길 것 같다) 과 비관적인 예측 (강인공지능이 90% 의 가능성으로 이대 생길 것 같다) 을 해보라고 했다.

조사 결과:

1. 낙관 예측 중앙치 연도 (강인공지능이 10% 의 가능성으로 이때 생길 것 같다): 2022 년
2. 정작적인 예측 중앙치 연도 (강인공지능이 50% 의 가능성으로 이때 생길 것 같다): 2040 년
3. 비관적인 예측 중앙치 연도 (강인공지능이 90% 의 가능성으로 이대 생길 것 같다): 2075 년

즉 한 중앙치의 인공지능전문가는 25 년후인 2040 년 (역자주: 원문은 2015 년에 작성됐다) 에 강인공지능을 만들어낼 수 있다고 생각한다. 그리고 2075 년이란 비관적인 예측이 설명해주는 바는 당신이 만약 지금 충분히 젊었다면 반수이상의 인공지능전문가들이 당신이 살아있을 때 강인공지능이 실현됨을 볼 수 있을 가능성이 90% 이상이다.

다른 한 독립적인 설문조사는 작가 James Barrat 가 Ben Goertzel 의 해마다 개최되는 강인공지능 콘퍼런스에서 진행되었다. 그는 참여자들한테 강인공지능이 어느 해에 실현될 것 같은지 직접 물었다. 선택지는 2030년, 2050년, 2100년과 영원히 실현될 수 없다 총 네가지였다. 그 결과:

• 2030년: 42% 의 참여자들이 강인공지능이 실현될 수 있다고 대답했다.
• 2050년: 25% 의 참여자
• 2100년: 20%
• 2100년 이후: 10%
• 영원히 실현될 수 없다: 2%

이 결과는 Nick Bostrom 의 결과와 비슷하다. James Barrat 의 조사에서 3분의 2를 넘는 참여자들이 강인공지능이 2050 년에 실현될 것이라고 했으며 거의 반수 (42%) 의 사람들이 미래 15년 (2030년) 이면 실현될 수 있다고 했다. 그리고 2% 에도 달하지 않는 참여자만 강인공지능이 영원히 실현될 수 없을 것이라고 했다.

하지만 강인공지능은 트립와이어가 아니다. 트립와이어는 초인공지능이다. 그렇다면 전문가들의 초인공지능에 대한 생각들은 어땠을까?

Nick Bostrom 의 설문조사는 전문가들의 초인공지능에 대한 생각도 물었다. 선택지는 a) 강인공지능에 도달한 2년 내에, b) 강인공지능에 도달한 30년 내에. 설문조사의 결과는 아래와 같다:

중앙치 답안은 강인공지능으로부터 초인공지능으로 가는데 필요한 시간이 2년일 가능성은 10%도 안되고 30 년내에 도달할 가능성은 75%에 달한다고 답했다.

이상 결과로부터 우리는 한명의 중앙치 인공지능 전문가는 강인공지능으로부터 초인공지능으로 가는데 아마도 20년 정도가 걸릴 것이라고 생각하고있다는 것을 알 수 있다. 즉 우리가 얻을 수 있는 결론은 현재 전 세계의 인공지능 전문가들중 하나의 중앙치 예측은 우리가 2040 년 즈음에 강인공지능을 실현시키고 그 20 년 뒤인 2060 년에 초인공지능을 실현시킬 것이다 — 즉 트립와이어를 밟을 것이다.

물론 이상 모든 데이터들은 다 추측일 뿐이고 현재의 인공지능 영역의 전문가들이 중앙치 의견일 뿐이다. 하지만 이것이 우리에게 주는 중요한 정보는: 상당수의 이 영역에 대해 아주 전문적인 분들이 2060 년이 초인공지능 실현에 대한 합리적인 추측이라고 생각한다는 것이다 — 지금으로부터 45 년밖에 남지 않았다.

그러면 우리는 다음 문제를 봐보자. 트립 와이어를 밟은 우리는 편균대 밑의 어느 쪽으로 추락할 것인가?

초인공지능은 거대한 파워를 갖고있다. 그래서 아주 중요한 문제는 이 파워를 어느 세력이 장악할 것인가 이고 이 파워를 장악한 세력이 무엇을 할 것인가 이다.

이 문제의 답안이 초인공지능이 도대체 천국인지 지옥인지를 결정할 것이다.

이 문제에 대해서도 전문가들의 의견은 엇갈렸다. Nick Bostrom 의 설문조사가 나타낸바에 의하면 전문가들이 강인공지능이 인류사회에 대한 영향을 평가할 때 52% 의 사람들이 결과가 좋거나 아주 좋을 것이라고 생각하고 31 % 의 사람들이 결과가 나쁘거나 아주 나쁠 것이라고 생각한다. 17% 밖에 안되는 사람들이 결과가 좋지도 나쁘지도 않을 것이라고 생각한다. 즉 이 영역의 전분가들은 보편적으로 이것이 굉장히 중대한 사건일 것이라고 여긴다는 것이다, 결과가 좋든 나쁘든 간에. 주의해야 할 것: 이 질문이 물은 것은 강인공지능에 대한 질문이였다. 만약 초인공지능에 대해 질물을 했다면 좋지도 나쁘지도 않을 것이라고 답한 사람은 17% 나 될리가 없을 것이다.

이 문제를 더욱 파고들 기 전에 우리는 우선 “언제 발생” 과 “결과가 좋을 것인가 나쁠 것인가” 란 문제의 결과를 종합하여 차트를 만들어보자. 그러면 그 그림이 대부분 전문가들의 관점을 부여줄 것이다.

우리는 조금 뒤에 주류 진영의 관점을 고려하고 우선 자기 자신에게 어떻게 생각했는가를 물어보자. 사실 필자는 당신이 어떻게 생각하는지 대충 알 것 같다. 필자도 첨에 이 문제를 연구할 때도 같은 생각이였으니까. 사실 많은 사람들이 이 문제에 신경쓰지 않는다. 그 이유들을 살표본다면 흔히:

1. 이 글의 1 편에서 얘기한 것처럼 우리가 본 영화들은 우리에게 아주 비현실적인 장면들을 많이 보여줘서 우리더러 인공지능이 진지한 과제가 아니라고 생각하게 했다. 작가 James Barrat 는 이것에 대해 우리가 느끼는 황당함을 미래의 어느날 방역센터에서 뱀파이어 경보를 진지하게 내놓는다고 했을 때 우리가 느낄 그런 황당함에 비교했다.

2. 인지의 편차로 인해 우리는 그것을 뒷바침해주는 증거를 직접 눈으로 보기 전에는 한가지 사물이 진짜라는 것을 믿기가 어렵다. 1988 년때 수많은 컴퓨터 과학자들이 인터넷이 얼마나 중요한가를 열렬하게 토론하고 있을 때 일반인들은 인터넷이 우리의 삶을 바꿔놓을 것이라는 말에 그다지 믿음이 가지 않았을 것이다 — 그것이 정말로 우리의 삶을 바꿔놓기 전까지는. 이렇게 된데는 한방면으로는 1988년의 컴퓨터는 확실히 볼품이 크게 없었던 것도 있다. 당시 사람들은 컴퓨터를 바라보면서 이렇게 생각했을 것이다: “이 보잘것 없는 녀석이 우리의 삶을 바꿔놓는다고? 뻥치지 마.” 사람들의 상상력은 자신의 컴퓨터에 대한 경험들의 제한을 받아서 컴퓨터가 현재의 형태로 되리라는 상상을 하기 어렵게 만든다. 비슷한 일이 인공지능 영역에서도 일고 있다. 우리가 인공지능이 큰 영향일 미칠 것이다 라는 말을 듣는다면 우리는 우리 자신이 인공지능을 경험한 기억들을 떠올리며 그런 약해빠진 인공지능들이 우리의 삶을 바꿔놓을 수 있으리라는 말을 믿기 어렵게 된다. 바로 이런 인지의 편차들은, 인공지능 전문가들도 애써 극복하려고 하는 부분이다.

3. 그리고 설령 우리가 인공지능의 거대한 포텐을 믿는다고 해도 당신은 오늘 “바야흐로 다가올 끝없는 세월 (역자주: 사망) 속에 더이상 ‘나’ 라는 존재는 없을 것이다” 란 문제에 얼마나 많은 시간을 들여서 생각을 했는가? 비록 이 문제가 당신이 오늘 한 대부분의 일보다도 훨씬훨씬 중요하지만 정상적인 사람은 늘 이 문제를 생각하지 않을 것이다. 이렇게 된 원인은 우리의 두뇌는 장기적으로 얼마다 중요한 일일지라도 그런 것들을 무시하고 늘 일상적인 작은 일들에 신경쓰도록 되여있기 때문이다. 이것은 우리의 본능이 이렇게 만들어졌기 때문이다.

이 글의 주된 목적이 바로 당신을 일반인의 진영에서 이탈시켜 전문가들의 사고방식의 진영에 가입시키는 것이다. 한발 물러나 당신을 양쪽 모두 믿임반 의심반 진영에만 가입시켰어도 목표 달성이다.

필자의 연구에서 각양각색의 관점들을 봤었지만 절대다수의 사람들이 쥬류진영속에 머물러있음을 발견하게 되었다. 사실 4분의 3이 넘는 전문가들은 주류 진영중의 두 작은 진영속에 속해있다: “초조 대로” 와 “신심 코너”.

우리는 두 작은 진영에 대해 모두 전개하여 깊숙히 살펴볼 것이다. 우선 상대적으로 보다 재미있는 쪽부터 살펴보도록 하자.

왜 미래는 천국인가

인공지능 영역을 연구하기 시작한 후 나는 예상했던 것보다 훨씬 많은 사람이 신심 코너에 있다는 것을 알게 되었다.

신심 코너에 있는 사람들은 매우 흥분함으로 시끌시끌하다. 그들은 그들이 평균대 아래의 상대적으로 보다 재미있는 그 흡인상태로 빠져들 것이고 미래는 그들이 꿈꾸는 모든 것을 만족시켜줄 것이며 그저 인내심 있게 기다리기만 하면 된다고 믿는다.

이 부류를 기타 사상가들로부터 구별해내는 것은 그들이 보다 재밌어보이는 그 흡인상태에 대한 욕망이다 — 그들은 영생이야말로 우리의 발전방향이라고 굳게 믿는다.

이러한 신심이 어디에서 온 것인가는 잘 모를 일이다. 평론가들은 그들이 너무 흥분한 나머지 맹점이 생겨버려 가능한 부정적 결과를 홀시해버렸다고 비평한다. 하지만 신심 코너의 사람들은 비평자들을 인류 종말 논법 주의자들로 취급하며 기술은 계속하여 우리를 도울 것이지 우리를 해치지 않을 것이라고 믿는다.

양쪽의 관점을 이 글에서는 다 소개할 것이다. 그래서 독자는 자신의 판단의 하여 자신만의 결론을 얻을 수 있을 것이다. 하지만 독자는 아래의 내용을 읽기 전에 우선 질의를 잠시 한쪽에 내버려두기 바란다. 우선 우리는 평균대 양쪽에 도대체 어떤 것들이 있는가를 봐보고 이런 결과들이 실제로 가능함을 다시 한번 기억해두자. 만약 우리가 지금 우리의 삶, 편안한 가구, 기술, 부유함 등등을 원시인들에게 보여준다면 그들의 안중에는 아마 다 마법처럼 보일 것이다 — 우리 또한 역시 미래에 우리를 놀라 쓰러지게 할수도 있는 그런 사물들이 나타날 수 있음을 받아들여야 한다.

Bostrom 은 초인공지능의 세가지 가능한 작동 방식을 그렸다:

1. 예언자 (Oracle) 모드: 거의 모든 질문에 대해 정확하게 대답해줄 수 있다. 인간에게는 아주 어렵고 복잡한 문제임에도 불구하고 정확하게 대답해줄 수 있다. 예를 들어 “어떻게 해야 더욱 좋은 자동자 엔진을 만들 수 있는가?”
2. 지니 (Genie) 모드: 임의의 고급적인 지령을 실행할 수 있다. 예를 들어서 “분자 조합 장치로 더욱 좋은 자동차 엔진을 만들어 내라.”
3. 독립적 의지 (Sovereign) 모드: 임의의 개방형 임무를 수행할 수 있고 자유롭게 활동할 수 있으며 스스로 결정을 내릴 수 있다. 예를 들어서 자동차보다 더욱 빠르고 더욱 싸고 더욱 안전한 교통방식을 발명해낸다.

이러한 인류에게는 굉장히 어려운 문제들이 초인공지능한테는 “내 펜이 떨어졌다. 좀 주워줄래?” 만큼이나 간단할 수 있다.

Eliezer Yudkowsky 는 이렇게 말했다:

어려운 문제란 존재하지 않는다. 오직 특정 레벨의 지능한테 어려운 문제만 존재할 뿐이다. 지능의 계단에서 작은 한발작 내디딜 때마다 일부 불가능하던 일이 쉬운 일로 되여버린다. 만약 크게 한발작 내디딘다면 모든 문제들이 다 쉬운 일로 되어버릴 것이다.

신심 코너에는 많은 열정적인 과학자, 발명가와 창업가들이 있다. 하지만 인공지능 영역으로의 우리의 투어에 가장 가이드가 되어줄 자격이 있는 분은 레이 커즈와일 (Ray Kurzweil) 이다.

레이 커즈와일의 평판은 매우 양극화 되여있다 — 신처럼 높이 추앙하는 사람이 있는가 하면 콧방귀를 끼며 거들떠보지도 않는 사람도 있다. 그리고 중립자들도 있다. 예를 들면 작가 Douglas Hofstadter 인데 그는 레이 커즈와일의 관점들이 마치 굉장히 맛있는 음식들과 개똥을 같이 섞어놓은 듯 해서 좋고 나쁨을 평가하기 어렵다고 한다.

당신이 커즈와일의 관점에 동의하든 동의하지 않든 커즈와일은 뛰어난 사람인게 분명하다. 그는 젊었을 때 부터 발명을 해왔으며 수십년 동안 꽤 많은 것들을 발명했다. 예를 들어 첫 평상형 스캐터 (flatbed scanner), 첫번째 문자를 소리로 바꿀 수 있는 스캐너 (시각장애자를 위한 물건), 유명한 커즈와일 음악 합성 장치 (첫번째 진정한 전자 피아노), 첫번째 상용화된 음성인식 시스템. 그는 다섯권의 베스트셀러의 저자이다. 그는 여러가지 과감하고 파격적인 예언을 함으로 유명했었고 그중의 상당수가 모두 진짜 실현됐음으로 유명했다. 예를 들어 80년대 말에 그는 2000년 후에 인터넷이 전 세계적인 현상으로 될 것이라고 예언했었다. 그는 유명한 <월 스트리트 저널> (WSJ) (뉴욕 시에서 발행되는 경제 전문 일간지) 로부터 “가만히 있지 못하는 천재” 라고 불리웠고 <포브스>(Forbes) 로부터 “궁극의 사상가” 라는 평가를 받았으며 미국 월간 경제 매거진 로부터 “에디슨은 진정한 후계자” 라는 평가를 받았고 빌 게이츠로부터 “인공지능에 대한 예측에서 내가 아는 사람들중 가장 출중했던 분” 이란 평가를 받았다. 2012 년에 구글의 공동 창업자인 Larry Page 는 그를 구글의 엔지니어링 디렉터 (Director of Engineering) 가 되여달라고 초대했다. 2011 년에 그는 싱귤래리티 대학 (Singularity University) 을 공동 창립했으며 이 대학은 현재 NASA 에서 운영하고 구글이 후원하고 있다.

이상 커즈와일에 대한 소개는 중요하다. 왜냐하면 그가 미래에 대한 동경을 말할 때 그는 마치 미친놈처럼 보이기 때문이다. 하지만 그는 정신병자가 아닐 뿐만 아니라 반대로 굉장히 유식하고 굉장히 똑똑한 사람이다. 당신의 그의 미래에 대한 예측이 그릇됐을 것이라고 생각해도 되지만 그가 미친 놈은 아니라는 것이다. 그가 미친 놈이 아니라는 것은 참으로 다행인 일이다. 왜냐하면 그의 미래에 대한 예측을 들었을 때 나는 너무나 그 예측이 맞기를 바라기 때문이다. 신심 코너의 많은 사상가들은 모두 커즈와일의 예측에 동의하고 그중 많은 분들이 커즈와일의 팬이다. 이런 학자들은 특이점주의자들 (Singularitarians) 로 불린다. 

계속