[📪정보] 특이점 입문 4편

[미래가온다(116.47)]

특이점 주의자들이 바라보는 미래

타임라인

커즈와일은 컴퓨터가 2029 년에 강인공지능에 도달할 것이라고 믿고 있으며 2045 년에는 우리는 초 인공지능을 맞이할 것이며 완전히 다른 세계인 특이점 시대를 맞이하게 될 것이라고 믿는다. 그의 인공지능 타임라인은 과거에 “터무니없이 열성적이다” 라고 여겨져왔으며 지금도 그렇게 평가하는 사람이 많다. 하지만 과거 15 년의 인공지능의 빠른 발전으로 인해 그의 타임라인에 찬성하는 전문가들이 점점 많아졌다. 비록 그의 타임 라인이 위에서 언급한 2040년과 2060년보다도 빠르지만 별로 차이가 나지 않는 셈이다.

커즈와일의 특이점 시대는 세가지 기술 영역이 공동으로 만들어낸 것이다 — 생물과학, 나노 기술과 가장 중요한 인공지능 기술.

우리가 인공지능을 계속하여 토론하기 전에 우리는 우선 나노 기술부터 알아봐야 한다.

나노기술:

나노기술이란 1~100 나노미터 범위내에서 물질을 조종하는 기술을 말한다. 1 나노미터는 1 미터의 십억분의 1이고 1 밀리미터의 백만분의 1이다. 1~100 나노미터 범위에 포함되는 것들로는 바이러스 (100 나노미터 길이), DNA (10 나노미터 넓이), 큰 분자, 예를 들어 헤모글로빈 (5 나노미터), 중간 크기의 분자, 예를 들어 포도당 (1 나노미터) 등이 있다. 우리가 나노기술을 철저하게 장악했을 때는 원자 차원에서 물질을 조종하는 것과 딱 한발작만 사이두고 있을 것이다. 왜냐하면 그것은 오직 한개 수량급 차이이니까 (약 0.1 나노미터).

나노급 단위에서 물질을 조종하는게 얼마나 어려운 일인가를 이해하려면 우리는 시각을 바꿔서 비교해볼 수 있다. 국제 우주 정거장은 지면으로부터 431 킬로미터 떨어져있다. 키가 431 킬로미터인 하나의 거인이 있다고 가정하자, 즉 그가 서있으면 머리 꼭대기가 국제 우주 정거장에 닿는다고 가정하자. 그 거인은 일반 인간을 25 만배 확대한 셈이다. 당신이 1~100 나노미터를 25만배 확대한다면 0.25밀리미터~25밀리미터가 된다. 그래서 인간이 나노기술을 사용한다는 것은 키가 431 킬로미터인 거인이 모래알만한 부속품들로 정교한 모델들을 만드는 것과 마찬가지이다. 만약 원자 차원에서 물질을 다루려면 이 거인이 0.025 밀리미터인 부속품들을 다루는 격이다.

나노기술에 대한 사고는 1959 년에 물리학자 리처드 파인만 (Richard Feynman) 이 최초로 제기했다. 그는 이렇게 말했다: “내가 알기로 물리학적인 원리로 봤을 때 원자급에서 물질을 다루는 것이 불가능하지는 않다. 이론상 물리학자는 화학자고 적을 수 있는 모든 물질을 만들어낼 수 있다 — 그저 원자들을 화학자들이 설명한대로 조립해놓기만 하면 된다.” 사실 이처럼 간단한 도리이다. 그래서 우리는 어떻게 하나하나의 분자와 원자를 이동시키고 컨트롤 할 수 있는지만 알면 그 어떤 물건도 만들어낼 수 있다.

엔지니어인 Eric Drexler 가 나노급의 조립기를 최초로 제기한 이후 나노기술은 1986 년에 하나의 진정한 학과로 되었다. 나노급 조립기의 작동 원리는 아래와 같다: 하나의 교묘한 스캐너가 물체의 3D 원자 모델을 스캔한 후 자동적으로 조립용 소프트웨어를 생성한다. 그리고 하나의 중앙 컴퓨터가 전류를 통해 억만개의 나노로봇들은 지휘하여 필요한 물건을 만들어낸다.

좀 더 멀리 가볼까?

나노기술도 그토록 흥미롭지 않은 부분도 있다 — 나노기술로 물건을 만드는 기술들중 제기된 한가지 방법은 억만개의 나노로봇을 만들어서 그것들을 연결시켜서 원하는 물건을 만드는 것이다. 억만개의 나노로봇을 만들어내는 유일한 합리적은 접근은 자체복제 가능한 나노로봇을 만들어서 자체복제하게 하여 기하급수적 성장을 통하여 수량 목표에 달하는 것이다. 기발한 생각이다. 그렇지 않은가?

확실히 기발한 아이디어이다. 하지만 자칫하면 이것은 세계 종말을 빚어낼 수 있다. 지수적 성장이 빠르게 억만개의 나노로봇들을 만들어낼 수 있다고 하지만 이것 역시 그것이 무서운 부분이다 — 시스템이 고장나서 지수적 성장이 멈추지 못해버린다면 어떻게 되겠는가? 나노로봇들은 얼마 지나지 않아서 모든 탄소 기반 소재들을 빨아들여 자체 복제에 사용할 것이다. 불행하게도 모든 지구 생물들이 탄소 기반이라는 점이다. 지수상의 생물의 전체 질량 (생물량, biomass) 은 대략 10 ^ 45 개의 탄소 원자이다. 하나의 나노 로봇이 10^6 개 탄소원자를 갖고있다면 10^39 개 나노로봇만 있으면 지구상의 모든 생명을 삼켜버릴 것이다. 2^130 이 약 10^39 와 맞먹는데 이것은 자체 복제가 130 번 이루어지기만 하면 지구상의 모든 생명을 삼켜버릴 수 있다는 뜻이다. 과학자들은 나노로봇이 한번 복제하는데 100초 정도밖에 걸리지 않을 것이라고 한다. 즉 하나의 간단한 오류로 3.5 시간 내에 지구상의 모든 생명이 사라져버릴 수 있다.

이게 최악이 아니다. 테러리스트들이 나노로봇 기술을 장악하게 되고 어떻게 사용하는지 알게 된다면 그들은 먼저 몇조개의 나노로봇들은 만든 다은 그것들을 전 세계에 분포시킨다. 그런 뒤 그들은 공격을 발동시킬 수 있는데 이렇게 된다면 한시간 남짓 정도면 나노로봇들은 모든 것을 삼켜버릴 수 잇게 된다. 뿐만 아니라 이런 공격은 막을래야 막을 수가 없다. 미래는 정말 사람을 놀라 쓰러지게 할 수 있다니까.

우리가 나노기술을 장악한 뒤에는 그것으로 상품들을 만들 수가 있다: 첨단 장비, 옷, 식품, 생물제품 예를 들어 인조 헤모글로빈, 암세포 파괴자, 근육섬유 등등. 그리고 나노기술의 세계에 있어서 한가지 물질의 코스트는 그것의 희귀한 정도나 그것을 제조하는 프로세스의 복잡성에 달려있는게 아니라 그 물질의 원자구조가 얼마나 복잡한가에 달렸다. 나노기술의 시대에 다이아몬드는 아마 고무지우개보다도 쌀 것이다.

우리는 아직 이런 기술을 장악하지 못했으며 심지어 우리가 이런 기술에 도달하는 것의 난이도를 과대평가했는지 과소평가했는지 조차도 모른다. 하지만 이런 기술들이 그렇게 먼 미래는 아닌 것 같다. 커즈와일이 예측하기를 우리는 21 세기 20 년대즈음에 이런 기술을 장악할 수 있을 것이라고 한다. 각국 정부는 모두 나노기술이 지구를 바꿔놓을 것이라는 것을 알기에 모두 많은 돈을 이 영역으로 쏟아부어 연구하고있다. 미국, 유럽연맹과 일본은 총 50억달러를 이 영역에 투자했다고 한다.

생각해봐라, 어떤 초인공지능을 가진 컴퓨터가 나노급의 조립기 (assembler) 를 통제할 수 있다면 어떤 광경이겠는가? 여기서 기억해야 할 것은 나노기술은 단지 우리 인류가 연구하는 기술이고 우리는 이 기술을 정복할 여명에 서있을 뿐이다. 하지만 우리 인류가 할 수 있는 일은 초인공지능에게는 보잘것 없을 정도로 식은죽먹기일 것이며 너무 발달되여 우리의 두뇌가 이해할 수 있는 범위를 넘을 것이다.

그러므로 “인공지능 혁명이 만약 우리에게 유익한 방향으로 일어난다면” 이라는 문제를 고려할 때 우리는 어떠한 것들을 기대해도 과도기대가 될 수가 없다. 그러니까 아래의 초인공지능에 대한 예측들이 아무리 말이 안되는 것 같다고 해도 기억해두자, 이런 진전들은 우리가 아예 상상도 못할 접근들로 이루어 질 수 있다는 것을. 사실상 우리의 두뇌는 어떤 일이 벌어질지 아예 예측하기가 불가능할 것이다.

인공지능은 우리에게 어떤 것들을 해줄 수 있을까

초인공지능과 초인공지능이 창조한 기술들이 있으면 초인공지능은 인류세계의 모든 문제들을 해결할 수 있을 것이다. 세계 온난화? 초인공지능은 훨씬 좋은 방법으로 에너지를 생산해서 화석연료를 사용할 필요가 없을 것이므로 이산화탄소를 배출하지 않아도 될 것이다. 그리고 그것은 방법을 대서 대기중의 필요 이상의 이산화탄소를 다 제거해버릴 수도 있을 것이다. 암? 어려운게 아니다. 초인공지능이 있다면 제약과 건강 산업에는 상상도 할 수 없는 혁명이 발생할 것이다. 세계적인 기아? 초인공지능은 나노기술로 직접 고기를 만들어낼 수 있을 것이다. 이런 고기들은 진짜 고기와 분자 구조상에서 완전히 일치하다 — 즉 진짜 고기이다.

나노기술은 쓰레기를 신선한 고기나 기타 식품으로 만들 수 있고 매우매우 발달된 교통수단으로 이런 식품들은 전세계 각지에로 수송할 수 있을 것이다. 이건 동물에게도 좋은 소식이다. 인류는 더이상 동물을 도살하여 고기를 얻을 필요가 없게 되는거니까. 초인공지능은 멸종위기에 처한 종이나 DNA 를 사용하여 이미 멸종한 종을 다시 부활시키는 방면에서도 많은 일을 할 수 있을 것이다. 초인공지능은 심지어 복잡하고 거시적인 (macro) 문제들도 해결할 수 있을 것이다 — 우리의 세계 경제와 무역에 관련된 쟁론들도 잠재울 수 있을 것이며 우리의 철학과 도덕에 대한 괴로운 질문들도 다 손쉽게 답을 얻을 것이다.

하지만 그중 한가지는 그토록 매혹적이여서 생각만 해봐도 우리의 모든 사물에 대한 관점을 뒤엎어버릴 것이다:

몇달 전만 해도 나는 영생에 도달할 수 있는 그런 문명들이 너무 부럽다고 말한 적 있다. 하지만 지금 나는 이미 영생에 도달하는 일이 우리가 살아있을 때 발생할 수 있다는 가능성을 생각하게 된다. 인공지능을 공부하게 되면 당신은 모든 사물에 대한 관점들을 다시 검토하게 될 것이다. 죽음이라는 아주 확적정인 일도 포함하여 말이다.

자연진화는 우리가 현재보다 더욱 오래 살도록 만들 이유가 없었다. 진화에 있어서 우리는 그저 후대를 번식할 수 있고 후대가 자기가 스스로를 보호할 수 있을 때까지만 살 수 있으면 충분하다 — 자연진화에게 있어서 30여살까지 사는 것은 충분한 일이기에 추가로 생명을 연장시킬 수 있는 유전자는 자연진화에게 선택받지 않았다. 이건 사실 굉장히 멋없고 재미없는 일이다.

그리고 모든 사람들이 다 죽게되었으니 우리는 늘 “죽음과 세금은 피할 수 없다” (Benjamin Franklin) 라고 말한다. 우리가 노화를 바라보는 시각은 마치 우리가 시간을 바라보는 것과 같다 — 그것들은 계속 앞으로 향하며 우리는 그것을 박을 방법이 없다.

하지만 이 가정은 잘못됐다. 리처드 파인만은 이런 말을 했다:

“모든 생명과학 영역에서 죽음이 불가피하다는 증거는 그 어디에도 없다. 만약 당신이 영구기관을 만들려고 한다면 우리 인류의 물리학에 대한 연구는 이미 그것이 불가능하다는 충분한 이유들을 말해주고 있다. 하지만 생물학적 영역에서 우리는 죽음이 불가피하다는 그 어떤 증거도 발견하지 못했다. 즉 사망이 무조건 불가피한게 아닐 수도 있다는 것이다. 생물학자들은 언젠가는 사망의 진정한 요인을 밝혀낼 것이고 ‘죽음’이라는 이 몹쓸 “질병”은 드디어 고쳐질 것이며 인간의 신체도 더 이상은 임시적인 그릇이 아닐 것이다.”

사실 노화와 시간은 떼여낼 수 없도록 묶여있지 않다. 시간은 무조건 앞으로 전진하지만 노화는 꼭 그런 것이 아니다. 생각해봐라, 노화는 다만 신체의 조직이 낡았다는 것이다. 자동차도 오래 사용하면 낡아진다. 하지만 자동차는 노화되는가? 만약 당신이 완벽한 수리 기술을 갖고있거나 혹은 그저 자동차의 노화된 부품들을 갈아주기만 하면 이 기계는 영원히 사용할 수 있다. 인간의 신체도 더 복잡할 뿐이지 본질상 자동차와 마찬가지이다.

커즈와일은 이런 얘기를 한 적 있다. WiFi 로 연결된 나노 로봇들이 혈액속에서 흘러다니고 여러가지 인간 건강에 관련된 임무들을 수행할 수 있다. 이럴테면 일상적인 유지보수, 죽은 세포를 치환 등등. 만약 이런 기술을 완벽하게 장악한다면 이런 프로세스 (혹은 초인공지능이 발명한 더 나은 프로세스) 는 인간의 신체가 영원히 건강하게 할 수 있다. 심지어 점점 젊어지게 할 수도 있다. 60 세 사람과 30 세 사람의 신체적 차이는 오직 물리적인 차이일 뿐이다. 기술적으로 충분히 발달된다면 우리는 이런 차이를 개변시킬 수 있다.

초인공지능은 “젊어지는 기계”도 만들 수 있을 것이다. 60세인 사람이 들어갔다가 나오면 30살 젊어진 몸을 가지게 될 것이다. 점점 치매가 오고 있는 두뇌일지언정 점점 젊어지게 할 수 있을 것이다. 초인공지능이 충분히 총명하기만 하다면 데이터를 손상시키지 않으면서 대뇌를 개조하기만 하면 될 것이다. 90 세의 기억상실증 환자가 “젊어지는 기계” 에 들어갔다 나오면 더욱 젋어진 뇌를 갖게 될 것이다. 이런 것들은 듣기에는 말이 안되여보이지만 인간의 몸은 한무더기 원자일 뿐이다. 초인공지능이 여러가지 원자구조를 컨트롤 할수만 있다면 말이 안되는 소리가 아니다.

커즈와일의 생각은 한발작 점프하였다. 그는 인조 소재들이 점점 인간의 몸으로 스며들 것이라고 믿는다. 처음에는 인체의 기관들이 보다 선진적인 기계 기관에 대체되고 이런 기관들은 지속적으로 작동할 수 있다. 그리고 나면 우리는 인체를 다시 설계하게 되는데 예를 들면 자체 구동이 가능한 나노로봇으로 헤모글로빈을 대체하기. 이렇게 되면 우리는 심지어 심장도 필요가 없게 된다. 커즈와일은 심지어 우리가 자신의 뇌를 개조하여 사고 속도가 지금보다 억만배 빨라지도록 하며 우리의 뇌가 클라우드에 저장된 정보와 연동할 수 있도록 할 것이라고 한다.

우리가 얻을 수 있는 새로운 체험들은 그 끝이 없다. 인류의 성적인 활동은 인류가 번식할 수 있게 할 뿐만 아니라 그것으로 즐거움도 얻게 한다. 커즈와일은 우리가 음식에 대해서도 비슷한 개조를 할 수 있을 것이라고 한다. 나노로봇은 신체가 필요한 영양분을 세포속으로 전송할 수 있고 스마트하게 인체가 필요없거나 해로운 물질을 신체 밖으로 배출시킨다 — 마치 식물에 대한 콘돔처럼 말이다. 나노 기술 이론가 Robert A. Freitas 는 이미 헤모글로빈을 대체할 수 있는 나노로봇을 설계했는데 인간으로 하여금 15분 동안 호흡하지 않고도 빠른 질주를 할 수 있게 해줄 수 있다 — 그렇다면 초인공지능이 우리의 신체능력에 대해 할 수 있는 개조는 더욱 상상을 초월할 것이다. 가상현실은 새로운 의미를 가지게 될 것이다 — 인체내의 나노로봇들은 우리가 감각기관에서 얻는 신호들을 모두 캡쳐하여 다른 신호들로 대체할 수 있는데 그러면 우리는 새로운 환경에 들어서서 보고 듣고 냄새 맡고 만지게 되는 셈이다.

커즈와일은 최종 인류는 완전히 인공물로 탈바꿈할 것이라고 한다. 어느날 우리가 생물 소재들을 보면서 생물 소재들이 너무나도 원시적이고 낙후하다고 느껴지고 초기의 인류가 이런 소재들로 만들어졌다는 것이 놀랍고 초기의 인류가 미생물, 사고, 질병 등에 의해 죽어버리게 된다는 것에 놀라움을 표할지도 모른다. 이것이 바로 커즈와일이 생각하는 인류가 드디어 자신의 생리적 제한을 이기고 파괴 불가하며 영생할 수 있게 되는 평균대 아래의 다른 한 흡인상태이다. 그는 바로 멀지 않은 미래에 우리가 거기에 도달할 것이라고 굳게 믿고있다.

커즈와일의 생각은 물론 각계 인사들의 비평를 받았다. 그의 2045년에 특이점 시대가 도래할 것이라는 얘기와 그후로 인간이 영생불멸할 가능성의 얘기는 여러가지 조소를 받았다 — “너드 (Nerd) 들 최후의 카니발”, “IQ 140 인사들의 신창론” 등등. 그의 과도하게 낙관적인 타임라인을 의심하거나 그의 인간의 뇌와 인체에 대한 이해정도를 의심하는 사람도 있다 그리고 그가 무어의 법칙을 소프트웨어에 적용하는 행위를 비평하는 사람도 있다. 많은 사람들이 그럴 믿으며 그를 반대하는 사람은 더욱 많다.

하지만 그렇다고 하더라고 그를 반대하는 전문가들도 그가 말한 모든 것을 반대하는게 아니다. 그를 반대하는 사람들은 “이런 일이 발생하지 않을거야” 라는게 아니라 “이런 것들이 물론 발생할 수 있지, 하지만 초인공지능에 도달하기는 굉장히 힘들거야” 이다. 심지어 거듬하여 우리에게 인공지능의 잠재적 위협을 리마인드해주는 Bostrom 도 이렇게 말한다:

초지능이 강림한다면 정말 세상에는 더이상 해결못할 문제가 있을지, 혹은 초지능이 우리를 도와 해결할 수 없는 문제들이 있을지, 상상이 안된다. 질병, 빈곤, 환경파괴, 여러가지 불필요한 고통, 이 모든 것들은 나노기술을 가진 초인공지능이 다 해결할 수 있는 것들이다. 그리고 초인공지능은 우리에게 끝없는 생명을 줄 수 있을 것이다. 이것은 노화를 정지시키거나 역전시키는 방법으로 달성할 수 있을 것이다. 심지어 우리더러 하여금 자신의 뇌의 데이터를 업로드하여 영생에 달하게 할 수도 있다. 초지능은 심지어 우리들로 하여금 자신의 IQ 와 EQ 를 대폭 강화할 수 있게 해줄 수도 있을 것이며 우리를 도와 그런 흥미로운 감각적인 세계를 구축함으로 우리가 행복을 누리게 할 수 있을 것이다.

이것은 심지어 아주 명백히 신심코너에 있지 않으며 심지어 커즈와일의 관점을 아주 반대하는 전문가인 Bostrom 의 관점이다. 그들을 결코 커즈와일이 헛소리를 하고 있다고 생각하는게 아니다. 단지 우선 안전하게 초인공지능에 달성해야 한다고 주장할 뿐이다. 이것 또한 왜 커즈와일의 관점이 아주 전염성이 있는지를 설명해주는데 바로 그것이 적극적인 정보를 내포하기 있기 때문이며 이런 것들이 논리적으로 모두 가능하기 때문이다 — 만약 초인공지능이 인자한 신이라면 말이다.

신심코너에 대한 가장 강력한 비평은 신심코너에 있는 사람들이 모두 초인공지능의 나쁜 점들을 과소평가했다는 지적이다. 커즈와일의 베스트 셀러 <특이점이 온다> 는 총 700 여페이지인데 그중 20 여페이지만 인공지능의 가능한 위험들을 다룬다. 앞에서 말했듯이 초인공지능이 강림할 때 우리의 운명을 결정하는 것은 어떤 세력이 이 파워를 장악하는가와 그 세력이 좋은 사람인지 여부에 달렸다. 커즈와일은 이렇게 대단한다: “초인공지능은 현재 여러 방면의 노력들로 점점 실현되고 있으며 그것은 우리의 문명의 기반시설속으로 깊숙히 스며들 것이다. 그것은 우리의 두뇌와 몸속에 친밀하게 묶여있을 것이여 그것은 우리의 가치를 반영할 것이다. 그것은 바로 우리 자신인거다.”.

하지만 답안이 그냥 이렇다면 왜 이 세상의 일부 가장 똑똑한 사람들이 이토록 우려하고있을까? 왜 스티븐 호킹이 초인공지능이 인류를 멸종시킬 것이라고 경고하는가? 왜 빌 게이츠는 사람들이 이것에 (초인공지능에) 대해 우려를 하지 않는지 이해할 수 없다고 하는가? 왜 엘론 머스크는 우리가 “악마를 소환”하는 것일 수 있다고 우려하는가? 왜 그토록 많은 전문가들이 인공지능이 인류의 가장 큰 위협으로 될 수 있다고 말하는가? 이런 초조대로에 있는 전문가들은 커즈와일의 인공지능의 위험에 대한 분장을 동의할 수 없다고 한다. 그들은 인공지능혁명을 굉장히 경계하고 있으며 평균대 아래의 상대적으로 흥미로운 흡인상태에는 별로 관심이 없고 다른 한쪽을 뚫어져라 쳐다보고있다. 그들이 본 것은 우리의 무서운 미래이다. 우리가 결코 벗어나지 못할 수도 있는 무서운 미래이다.

미래는 우리의 끔찍한 악몽일 수 있다

필자가 인공지능에 대해 요해하고 싶은 하나의 중요한 원인은 “나쁜 로봇”은 항상 나로 하여금 당혹스럽게 했기 때문이다. 그런 사악한 로봇들에 대한 영화들은 너무도 실감이 없었고 나 또한 역시 하나의 인공지능이 위험해지게 되는 상황을 상상할 수가 없었다. 로봇들은 우리가 만든 것인데 우리는 처음에 만들 때무터 나쁜 상황이 발생할 것을 막지 않을 것인가? 우리는 많은 안전장치를 만들면 되지 않는가? 정말 안돼면 우리는 전원을 뽑아버리면 되지 않는가? 그리고 왜 로봇이 나쁜 짓을 하려고 할 것인가? 바꿔말하면 왜 로봇이 그 어떤 일을 “하려고” 할 것인가? 나는 의문들로 둘러쌓여 결국 이 영역에 있는 총명한 사람들의 생각들을 공부해보게 된다.

이런 전문가들은 일반적으로 초조대로에 위치해있다:

초조대로에 있는 사람들은 결코 공황상태나 무력함에 빠져있는게 아니다 — 공황상태와 무력함은 차트중의 더욱 왼쪽 부분에 위치해있다 — 그들은 다만 긴장할 뿐이다. 차트의 중앙에 위치해있다는 것은 그들의 입장이 중립이라는 뜻이 아니다 — 진정 중립인 사람들은 자기들의 독립적인 진영들이 있다. 그들은 최선이거나 최악인 두가지 가능성을 모두 인정하고 다만 둘중 어느 것일지 잘 모르겠다는 진영이다.

초조대로에 있는 사람들은 부분적으로 초인공지능에 흥분함을 가지고있다 — 그들은 다만 인류 현재의 행동이 영화 <레이더스> (Raiders Of The Lost Ark, 1981) 에 나오는 이 소년과 같은 것이 아닐까 근심하는 것이다:

그는 자기의 채찍과 보물을 들고 매우 흥분해한다. 그러다가 뒤졌다.

그와중에 인디아나 존스는 훨씬 신중했으며 훨씬 유식했다. 잠재적인 위험을 인식하고 적절하게 대응을 했기 때문에 최종 안전하게 동굴에서 벗어날 수 있었다. 필자가 초조대로의 사람들의 생각들을 요하한 후에 든 생각은 그들의 생각이 마치 “우리가 지금같이 우왕좌왕 하다가는 앞의 그 자식처럼 언제 뒤져버릴 지 몰라. 조심히 처사하는 인디아나 존스가 되여야지.” 같다고 느껴졌다.

그렇대면 도대체 무엇이 초조대로의 사람들을 이토록 초조하게 만드는 것일까?

우선 광의적으로 봤을 때 우리가 초인공지능을 만들 때는 사실 모든 사물들을 개변시킬 포텐이 있는 사물을 창조하는 것인데 이 영역에 대해 우리는 아는 것이 없다는 것이다. 그 영역에 도달한 후에 무엇이 발생할지도 모른다. 과학자 Danny Hillis 는 이것을 아래와 같이 비유했다: 마치 단세포동물에서 다세포동물로 진화하는 과정에서 아직 아메바벌레인 우리는 도대체 우리가 무슨놈의 구신 떡다리 물건을 창조하고 있는지 전혀 모른다는 것이다.

Bostrom 은 자기보다 총명한 물건을 창조하는 행위를 기본적인 다윈의 착오를 범하는 것일것을 우려한다. 마치 참새 어미가 새끼 부엉이를 입양하면서 새끼부엉이가 장래에 크면 참새 한가족을 잘 보호해줄 것이라고 생각하지만 다른 참새들은 이것이 아주 위험한 아이디어라고 생각하는 것과 마찬가지라고 한다.

당신이 “그 영역에 대해 아는게 없다” 와 “그것이 발생할 때 굉장히 거대한 변화를 가져올 것이다” 라는 문장을 결합시켰을 때는 아래와 같은 굉장히 무서운 단어를 얻어내게 될 것이다 —

생존위기란 인류에 대해 영구적인 재난적 효과를 가져올 수 있는 일을 가리킨다. 일반적으로 생존위기는 멸종을 의미한다. 아래의 것이 Bostrom 의 차트이다:

위 차트에서 우리는 생존위기란 종을 넘고 세대를 넘어 (영구적인 손해) 엄중한 후과를 초래하는 일이라는 걸 알 수 있다. 그것은 인류가 영구적인 고통을 받는 상황까지 커버할 수 있지만 사실 그것은 멸종과 크게 다를바가 없다. 아래의 세가지 사물이 인류의 생존위기를 초래할 수 있다:

1. 자연 — 거대 운석의 충돌; 기후변화로 인해 대기층이 인류가 더이상 그속에서 살 수 없게 되여버린다; 전세계를 뒤엎은 치명적인 바이러스 등.
2. 외계인 — 스티븐 호킹, 칼 세이건(Carl Sagan, 미국의 천문학자) 등은 우리가 외계로 자기의 위치를 방송하는 것을 반대한다. 우리가 외계인을 소환하여 자기를 식민하도록 하는 머저리로 되지 말아야 한다고 한다.
3. 인류 — 테러리스트가 인류의 멸종을 초래할 수 있는 강력한 무기를 장악했다; 전 세계적인 재난적인 전쟁; 그리고 신중한 고려 없이 우리보다 훨씬훨씬 총명한 지능을 만들어내는 것.

Bostrom 은 우리의 종 (인류) 가 존재한 전 10만년에도 (1) 과 (2) 는 발생하지 않았으니 다음 한 세기에 발생할 가능성이 크지 않다고 한다. 하지만 3은 그를 두렵게 한다고 한다. 그는 상황을 유리구슬이 가득 담겨있는 항아리에 비유했다. 항아리 안에 대부분은 하얀 유리구슬이고 소부분은 붉은 구슬이며 몇개만 검은 구슬이라고 가정한다. 매번 인류가 어떤 물건을 발명해낼 때 마치 항아리에서 구슬을 하나 꺼내는거나 같다고 한다. 대다수의 발명은 인류에게 이롭거나 중립적인 발명이다 — 즉 그 하얀 유리구슬이다. 일부 발명은 인류에 해롭다. 예를 들어서 대량 살상 무기가 그렇다 — 이런 것들이 바로 붉은 유리구슬이다. 일부 발명은 우리를 멸종시킬 수 있는데 그것이 바로 검은 유리구슬에 해당된다. 분명한 것은 우리가 지금까지 꺼낸 구슬에는 아직 검은 구슬이 없었다. 하지만 Bostrom 은 멀지 않은 미래에 검은 구슬을 꺼낸다는게 불가능하지 않다고 본다. 예를 들어서 핵무기가 갑자기 만들기 쉬워진다거나 그러면 테러리스트들은 멀지 않아 우리를 석기시대로 폴발시켜버릴 것이다. 핵무기는 여전히 검은 구슬측에 속하지 않지만 검은 구슬과 큰 차이도 없다. 하지만 초인공지능은 우리가 당첨될 가능성이 제일 높은 검은 구슬이다.

당신은 초인공지능의 단점들은 많이 들어볼 것이다 — 인공지능이 인간노동자를 대체하여 실업이 증가한다거나 노화를 해결하는 바람에 인구가 급속히 늘어난다거나 등등. 하지만 우리가 제일 근심해야 할 것은 생존위기의 가능성이다.

그래서 우리는 앞에서 얘기했던 문제에로 돌아오게 되는데 바로 초인공지능이 강림하였을 때 어떤 세력이 이 파워를 장악했을 것이며 그들은 어떤 목표가 있을 것인가?

우리가 여러가지 파워 소유자와 그들의 목표의 조합들을 살펴보았을 때 최악은 경우는 이러하다: 나쁜 의도를 가진 사람이나 조직이나 정부가 사악한 의도를 가진 초인공지능을 장악하고 있을 때. 그러면 어떤 광경이 펼쳐질 것인가?

나쁜 의도를 가진 사람이나 조직이나 정부가 최초로 첫 초인공지능은 발명해내고 그것을 이용하여 자기의 사악한 계획을 펼친다고 가정하자. 필자는 이것을 자파 (Jarfar) 시나리오라고 부른다. 알라딘과 마법의 램프에서 나쁜 놈 자파가 지니를 통제하여 여러가지 못된 짓을 하는 시나리오. 만약 ISIS 에 고용된 일부 엔지니어들이 열광적으로 인공지능을 연구개발한다면 어떡할건가? 또는 이란이나 북한이 여러가지 공교로움으로 인공지능의 빠른 발전을 얻어내여 초인공지능에 도달한다면 어떡할건가? 이것은 물론 아주 역같은 상황이다. 하지만 대부분 전문가들이 보기에 이것이 진정 역같은 부분은 이 사람들이 나쁜 놈들이기 때문이라기보다는 이런 경우에 이 사람들은 신중한 생각이 없이 초인공지능을 만들어내버리고 만들어내자마자 초인공지능에 대한 통제를 잃어버리는데 있다고 본다.

그리고 그 창조자, 더불어 모든 기타 사람들은 운명은 모두 이 초인공지능의 동기에 달리게 된다. 전문가들은 나쁜 의도를 가지고 있으며 초인공지능을 장악한 사람은 아주 큰 악영향을 끼칠 수 있지만 우리를 멸존시키지는 못할 것이라고 한다, 왜냐하면 나쁜 놈과 좋은 사람이 초인공지능을 컨트롤하기에는 같은 어려움에 부딪히게 된다고 한다.

하지만 창조해낸 초인공지능이 사악한 의도를 품고 있으며 우리를 멸종시키려고 한다면 어떻게 할 것인가? 이것이 바로 대부분 인공지능에 관련된 영화들의 스토리이다. 인공지능이 인간만큼 또는 인간보다 더 똑똑해져서 인간들을 해치려고 한다 — 여기서 알려드려야 할 것은 우리에게 인공지능을 경계하라고 호소하는 전문가들이 얘기한 것은 전혀 이런 영화 스토리가 아니라는 것이다. 사악은 인류만의 개념이다. 인간만의 개념을 비인간에게 적용하는 것을 의인화라고 한다. 이 글에서는 최대한 이런 의인화를 피면하도록 노력하겠다. 왜냐하면 그 어떤 인공지능도 영화에서나 나오는 것처럼 사악 해질 수 없기 때문이다.

인공지능의 의식에 대하여:

우리는 인공지능의 다른 한 화제를 언급하게 되었다 — 의식. 만약 하나의 인공지능이 충분히 총명하다면 그는 아마 우리를 비웃을 수도 있을 것이고 우리를 비꼴 수도 있을 것이며 인간의 감정을 느낄 수 있다고 주장할 수도 있을 것이다. 하지만 그것이 정말로 이런 감정들을 느낄 수 있을 것인가? 그것은 도대체 보기에만 의식이 있는것처럼 보이는 것일가 아니면 정말로 확실히 의식을 가진 것일까? 바꿔말해 총명한 인공지능은 그저 의식이 있어보이는걸까 아니면 정말로 의식이 있는 것일까?

이 문제는 여러가지 시점에서 심도있게 토론됬었으며 많은 사고실험들이 제기됬었다. 예를 들어서 John Searlet 의 Chinese Room 사고실험. 이것은 아주 중요한 문제이다. 이 문제는 우리가 커즈와일이 제기한 인류는 최종적으로 완전히 인공화될 것이라는 관점에 대한 인식에 영향을 줄 것이며 이 관점에 대한 도덕적 평가에도 영향을 끼칠 것이다 — 만약 우리가 억만개 인간의 뇌를 에뮬레이팅해냈고 이 인공 뇌들이 행동하는 것이 인간과 똑같다면 이런 에뮬레이팅 된 뇌들의 컴퓨터들의 전원을 철저하게 차단하는 것은 도덕상 컴퓨터 전원을 끄는 것과 동일할 것인가? 아니면 종족 대학살과 같을 것인가? 이 글에서는 주로 인공지능의 인간에 대한 위험을 다루기 때문에 인공지능의 의식 문제는 이 글의 주제가 아니다. 대부분 사상가들은 의식이 있는 초인공지능이더라고 인간처럼 “사악해지”지 않는다고 한다.

하지만 이것은 아주 나쁜 인공지능이 생기지 않을 것이라는 뜻은 아니다. 단지 그것의 출현은 그것이 그렇게 설정되여있기 때문이라는 것이다 — 예를 들어 군대에서 제작한 약인공지능들은 살인과 자체의 지능을 증가시키는 두기지 기능이 설정되여있다고 가정한다. 이 인공지능의 자체 개선 기능이 고삐가 풀리고 그런채로 지능폭발이 일어나버리면 그것은 인류에게 생존위기가 되여버린다. 왜냐하면 우리가 직면해야만 하는 그것이 살인을 목적으로 하는 초인공지능이기 때문이다 — 하지만 이것 역시 전문가들이 근심하는 시나리오가 아니다.

계속