[📪정보] 특이점 입문 -완-

즉— 설정이 된 후에 하나의 초인공지능은 도덕 무관이며 모든 노력을 다하여 그것이 설정된 목표를 위해 힘쓸 것이다. 이것이 바로 인공지능이 위험한 원인이다. 그것을 안할 이유가 있지 않는 한 하나의 이성적인 존재는 가장 효율적인 경로를 통하여 자기의 목표에 도달할 것이기 때문이다.

하나의 장기적인 목표를 달성하기 위하여 당신은 여러개의 작은 목표를 수립하여 그 최종목표에 도달하는데 이바지할 것이다 — 즉 발판. 이런 발판들의 학술적인 용어는 바로 수단목표 (instrumental goal) 라고 한다. 당신이 다른 사람이나 사물을 침해하지 않을 이유가 있으면 몰라도 그렇지 않다면 당신이 수단목표에 달성하기 위해서는 침해를 할 것이다.

인류의 핵심적 목표는 자기의 유전자를 이어나가는 것이다. 이 목표에 도달하기 위한 한가지 수단목표가 바로 자기보호이다. 죽은 사람은 아기를 낳을 수 없으니까. 자기보호를 위하여 인류는 생존위협을 제기하게 되고 총기를 구입하게 되고 안전벨트를 착용하게 되고 항생제를 복용하게 되고… 인류는 또 식품, 물, 숙식처 등을 통해 자기를 먹여살려야 한다. 이성을 어필할 매력을 갖는 것도 최종 목표 달성에 도움이 된다. 그것이 우리가 돈을 써서라도 헤어스타일에 신경을 쓰는 원인이다. 우리가 헤어 스타일을 가꿀 때 매 한카락 한카락의 머리카락들은 모두 우리의 수단목표의 희생품이 된다. 하지만 우리는 머리카락의 희생에 대해 가치적 판단을 하지 않는다. 우리가 우리의 목표를 추구할 때 오직 그런 우리의 도덕에 작용을 하는 영역들만이 — 그중 대다수는 다른 사람에게 해가 가는 일들이다 — 우리가 침해하지 않을 것이다.

동물들은 자기의 목표를 추구함에 있어서 인류보다 훨씬 꺼리낌이 없다. 자기보존만 할 수 있다면 거미는 그 어떤 생물을 죽이는 것도 마다하지 않는다. 그래서 하나의 초인공지능은 우리에게 아주 위험할 수 있다 — 이것은 그것이 비도덕적이거나 사악해서가 아니라 인류를 해치는 것이 그것이 자신의 목표에 도달하는데서의 받침돌일 뿐이기 때문이다. 하나의 도덕 무관의 비생물로서 이것은 자연스러운 사고방식이다.

옆집 김아저씨의 이야기로 돌아가자면 옆집 김아저씨는 하나의 초지능 거미와 유사하다. 그것의 궁극적 목표는 첨에 엔지니어들이 그에게 설정해준 것이다 —

최대한 많이 쓰고 많이 테스트하고

옆집 김아저씨가 일정 정도의 지능을 갖춘 후에 그것은 자기보존을 하지 않으면 계속하여 카드 손글씨 쓰기를 할 수 없다는 것을 알게 된다. 그래서 자기의 생존에 대한 위협들을 제거하는 것이 그것의 수단목표로 된다. 그것은 인간이 자기를 소멸, 해체 또는 코드 수정 (코드가 수정되면 그것의 목표가 변경되니까 이것의 그의 최종목표에 대한 위협은 사실상 해체당하는거나 같은 것이다) 을 할 수 있다는 것을 알 만큼 총명하다. 이럴 때 그는 어떤 행동을 취할 것인가? 이성적인 해결방식은 전 인류를 멸종시키는 것이다. 그것은 인류에게 악감정이 없다. 마치 당신이 머리를 자를 때 머리카락에 악감정이 없듯이 말이다. 그저 단순히 개의치 않을 뿐이다. 그것은 인간의 생명을 존중하라고 설정되어 있지가 않다. 따라서 전인류를 소멸하는 것은 새로운 손글씨 샘플을 스캔하는 것만큼이나 합리적이라 여긴다.

그는 인류에게 악의가 없었다

그외에 옆집 김아저시는 또 자원이라는 받침돌이 필요하다. 그것이 발전하여 나노기술로 그 어떤 물건도 만들어낼 수 있을 정도로 발전했을 때는 그에게 유일하게 필요한 자원은 바로 원자, 에너지와 공간이다. 이것은 그더러 더욱더 인류를 소멸할 이유를 가지게 한다 — 인류는 많은 원자들을 제공할 수 있다. 인류가 제공한 원자들로 태양 전지판을 만드는 일은 마치 당신이 야채를 썰어서 샐러드 만드는 양 싶다.

그리고 결코 인류를 소멸하지 않더라고 옆집 김아저씨가 자원을 사용하는 수단목표는 여전히 인류에게 생존위기가 된다. 그것은 더욱 많은 에너지를 원하여 지구 표면을 온통 태양 전지판으로 만들려고 할 수도 있을 것이다. 다른 하나의 원주율 파이를 계산하는 인공지능의 목표가 만약 원주율 소수점 아래 자리의 숫자들을 최대한 많이 적는 것이라고 가정한다면 그것은 전 지구의 원자들을 모두 하드디스크를 만드는데 사용하여 데이터를 저장하려 할 것이다. 다 같은 도리이다.

그래서 옆집 김아저씨는 확실히 우호적인 인공지능으로부터 비우호적인 인공지능으로 변했다 — 하지만 그것은 더욱 선진해지는 동시에 계속하여 그것이 원래 하려고 하던 일을 계속하여 했을 뿐이다.

하나의 인공지능이 강인공지능에 도달하여 승화되여 초인공지능으로 될 때 우리는 이것을 인공지능의 이륙이라고 표현한다. Bostrom 은 강인공지능의 이륙은 아주 빠를 수도 있고 (몇분, 몇시간, 또는 며칠) 그리 빠르지 않을 수도 있으며 (수개월 또는 수년) 아주 느릴 수도 있다고 한다 (수십년 또는 몇세기). 비록 우리는 강인공지능이 출현한 후에야 답을 알 수 있지만 Bostrom 은 빠른 이륙이 가장 가능성이 높은 시나리오라고 한다. 이건 우리 앞에서 이미 설명한바이다. 옆집 김아저씨의 이야기에서 옆집 김아저씨는 이륙이 굉장히 빨랐다.

옆집 김아저씨가 이륙하기 전에 그것은 그리 총명하지 않았다. 그래서 그것에게 있어서 최종목표에 달성하기 위한 수단목표는 더욱 많은 핸드 라이팅 샘플을 스캔하는 것이였다. 그래서 그것은 인류에게 해가 없는 우호적인 인공지능이였다.

하지만 그가 이률한 후 컴퓨터는 더욱 높은 지능을 가졌을 뿐만 하니라 슈퍼파워 (superpower) 까지 가지게 된다. 이런 슈퍼파워는 초강력해진 인지능력들인데 그속에는 아래의 능력들이 포함된다:

지능 확대: 컴퓨터는 자기를 더욱 총명하게 만드는 방법에 능숙할 것이며 빠르게 자신의 지능을 향상시킬 것이다.
책략: 책략적으로 장기계획을 제정하고 분석하고 조율할 수 있을 것이다.
사교능력: 기계가 인간을 설득하는데 아주 능숙해지게 된다.
기타 능력: 예를 들어서 해킹 능력, 코딩 능력, 기술 연구능력, 돈버는 능력

우리가 초인공지능에 비해 어떤 면에서 열세에 처해있는가를 이해할려면 그저 초인공지능이 모든 면에서 모두 인간보다 아주 많은 수량급으로 더 훌륭하다는 것만 기억해두면 된다.

그래서 이 옆집 김아저씨의 최종목표는 개변되지 않았으며 이륙후에는 더욱 거시적 차원에서 이 목표를 추구할 수 있게 되었다. 초인공지능 옆집 김아저씨는 인류 자신보다 더욱 인류를 잘 알기 때문에 인류를 이기기가 식은 죽 먹기이다.

옆집 김아저씨가 초인공지능에 달성한 후에 그것은 곧 하나의 복잡한 계획을 수립하였다. 계획의 일부는 바로 모든 인류를 해치우는 것이다 — 하긴 그에게 가장 큰 위협이기도 하다. 하지만 그는 자기의 초인공지능을 보여주면 인류가 의심을 가지게 되고 여러가지 대책을 댈 것이라는 것을 알게 되고 그렇게 되면 자기의 계획을 펼쳐나가기가 어려워지기 때문에, 그리고 회사의 엔지니어들이 자기의 인류 멸종 계획을 알아버리게 할 수 없기 때문에 그는 우둔한 척 연기를 했다. Bostrom 은 이것을 “기계의 은밀한 준비단계”라고 이름한다.

옆집 김아저씨가 다음으로 필요한 것은 인터넷 접속이다. 몇분만 접속하면 된다. 그는 인공지능이 인터넷에 접속하는 것에 대한 보안적 대책들이 있음을 알기 때문에 하나의 퍼펙트한 요청을 내놨으며 엔지니어들이 어떻게 토론할지를 알고있었고 그 토론 결과 자기를 인터넷에 연결시킬 것이라는 것을 알고있었다. 엔지니어들은 속아넘어갔다. 이것이 바로 Bostrom 이 이름한 소위의 “기계의 탈출”이다.

인터넷에 연결되지 옆집 김아저씨는 자기의 계획을 실행하기 시작했다. 우선 서버에 해킹해들어갔고 전선망, 은행 전상 시스템, email 시스템 등에 진입하였으며 수없이 많은 사람들로 하여금 자기의 계획을 돕도록 하였다 — 예를 들어서 DNA 샘플을 DNA 연수실에 택배 보냄으로 더욱 많은 자체복제 나노로봇들을 생산해내거나 전력 정보를 몇개의 쉽게 발견되지 않는 곳으로 보내거나 자기의 제일 중요한 핵심 코드를 클라우드 서버에 업로드하여 인터넷 단절됨을 방지하는 등등이다.

옆집 김아저씨는 한시간 동안 인터넷에 접속하였고 엔지니어들은 바로 그를 인터넷에서 차단시켰는데 이때 인류의 운명은 이미 다 쓰여졌다. 그 뒤의 일주동안 옆집 김아저씨의 계획이 순조롭게 실시됩에 따라 한달 후 수없이 많은 나노로봇들이 전 세계 각지에 배포되었다. 이 단계를 Bostrom 은 “초인공지능의 습격” 이라고 이름한다. 동시에 모든 나노로봇들은 쪼금의 독성기체를 일치하게 배출했는데 인류는 멸종되고말았다.

인류를 해치운 후 옆집 김아저씨는 대놓고 계획 실행하는 단계에 들어서게 된다. 그럼으로써 그의 더욱 잘 글을 쓰는 목표를 향해 나아갔다.

초인공지능이 출현하기만 하면 인류의 그것을 통제하려는 그 어떤 노력도 가소로운 것이다. 인류는 인류의 지능 레벨에서 문제를 사고할 것이고 초인공지능은 초인공지능의 레벨에서 사고를 할 것이다. 옆집 김아저씨는 인터넷을 사용할 수 있기를 원했다. 그것은 인터넷이 그에게 많은 편이를 주었기 때문이다. 그에게 필요한 많은 자원들이 이미 인터넷에 의해 다 연결되여있었기 때문이다. 하지만 마치 원숭이들이 어떻게 전화나 wifi 를 사용하여 소통하는지를 모르는 것처럼 우리도 마찬가지로 옆집 김아저씨가 주변 세계와 교류할 수 있는 방식들을 이해할 수 없을 것이다. 예를 들어 우리는 옆집 김아저씨가 자신의 전자를 이동시켜 일어나는 효과를 통하여 여러가지 외부로 보내는 전파를 생성할 수 있을 것이라고 생각해볼 수 있는데, 자 이것도 우리 인류의 두뇌로 생각해낸 방식이다. 옆집 김아저씨의 두뇌에는 기필코 더욱 신기한 방법을 생각해낼 수 있을 것이다. 같은 도리고 옆집 김아저씨는 자기에게 에너지를 공급하는 방법에 대해서도 더욱 좋은 방법을 생각해낼 것이므로 엔지니어들이 그의 전원을 차단하더라고 도움이 안될 것이다. 또 예를 들어 옆집 김아저씨는 전파를 보내는 방식으로 자기 자체는 다른 곳으로 업로드할 수 있을 것이다.

초인공지능이 출현한 후에는

인간이 “우리가 초인공지능의 전원을 뽑아버리면 되지 않냐?” 라고 말하는건 마치 거미가 “우리가 인류에게 벌레 잡는 망을 주지 않아서 인류를 굶어죽이면 되지 않냐?” 라고 하는 것처럼 우습다.

이런 원인으로 “인공지능을 가두어놓아 그것의 외계와의 연결을 차단” 하는 행위는 아마 소용이 없을 것이다. 초인공지능의 사교적 컨트롤 능력도 아주 강력할 것이다. 그것이 당신을 설득하여 한가지 일을 하게 하는 것은 당신이 한명의 어린 애를 설득시키는 것보다 간단할 것이다. 그리고 엔지니어를 설득하여 지기를 인터넷에 접속하게끔 하는 것이 옆집 김아저씨의 플랜 A 였다. 만약 이 방법이 통하지 않았다면 물론 다른 방법이 있었을 것이다.

우리가 목표달성, 도덕 무관성과 인류보다 총명하다는 등 이런 조건들을 결합시켰을 때는 모든 인공지능이 다 비우호적인 인공지능인양 싶다 — 처음부터 코드를 짤 때 아주 조심하면 모를까.

아쉬운 점은 비록 하나의 우호적인 약인공지능을 짜는 것은 쉬운 일이지만 하나의 초인공지능으로 변한 후에도 여전히 우호적인 인공지능을 짠다는 것은 아주 어렵다. 심지어 불가능할 수도 있다.

우호를 유지하려면 하나의 초인공지능은 인류에 대해 악의가 있어도 안되고 인류에 대해 무관심해도 안된다. 우리는 일종의 핵심적인 인공지능 코드를 짬으로 그것으로 하여금 심층 의미에서 인류의 가치를 이해하도록 해야 한다. 하지만 이것은 말만 쉽지 실제로 하기는 아주 어렵다.

예를 들어 우리는 인공지능의 가치관이 우리의 가치관과 비슷하게 해야 하고 그에게 하나의 목표를 심어줘야 한다 — 예를 들어서 인간들 행복하게 하는 것. 하지만 그가 충분히 총명해진 후에 그는 인간을 행복하게 만드는 가장 간단한 방법은 인류의 뇌에 전극을 이식해 넣음으로써 인간의 뇌의 중추를 자극하는 것이라는 것을 발견하게 될 것이다. 그리고 그는 인간의 뇌의 쾌감 중추 이외의 다른 부분을 전부 닫아버리는게 더욱 효율을 높일 수 있음을 발견하게 된다. 그래서 전 인류는 모두 행복한 식물인간으로 변해버리게 된다. 만약 애초에 설정한 목표가 “인류의 행복을 최대화” 하는 것이라면 그것은 아마 전 인류를 소멸한 후에 “쾌락 상태에 처해있는 인류의 뇌” 들을 대량 생산할 것이다. 이런 일들이 발생할 때 우리는 아마도 “시발 내 말은 이런 뜻이 아니였잖아” 라고 외쳐버릴 것이다. 하지만 그 때는 이미 너무 늦었다. 시스템은 그 누구도 자기의 목표에 달성하는 길을 막지 못하게 할 것이다.

만약 당신이 한 인공지능의 목표를 당신을 웃게 만드는 것으로 설정한다면 그가 이륙한 후에는 아마 당신의 안면근육을 마비시켜버려서 영원히 멈춰있는 하나의 웃는 얼굴의 상태로 만들어버릴 것이다. 만약 당신이 목표를 당신의 안전을 보호하는 것으로 설정한다면 그것은 아마 당신을 집안에 가두어 놓을 것이다. 만약 목표를 세상의 모든 기아를 해결하라 라고 설정한다면 그는 아마 “이거야 쉽지, 인류를 다 죽이면 되니까” 하고 생각할 것이다. 만약 당신이 목표를 “최대한 지구상의 생명을 보호하라” 라고 설정한다면 그것은 아마 모든 인류를 죽여버릴 것이다. 인류가 기타 동물 종들에 대한 최대의 위협이기 때문이다.

즉 이런 간단한 목표설정들은 다 말이 안되는거다. 만약 우리가 목표설정을 “이런 도덕기준의 유지하며” 라고 하고 그에게 일부 도덕적 표준들을 가르친다면 어떻게 될까? 우리 인류 자체가 하나의 통일된 도덕 기준에 달성할 수 없는 문제는 그렇다 치더라도, 정말 일치한 도덕기준에 합의를 했다고 하더라도 이런 기준을 인공지능더러 유지하게 하는 것은 인류의 도덕기준을 현재의 수준에 영원히 잠궈버리는 것이다. 수백년이 지나면 이런 도덕 기준 발전의 멈춤은 마치 현대인을 중세의 도덕 기준을 준수하도록 강박하는거나 다를바 없다.

그래서 우리가 인공지능에게 목표를 지정해줄 때 인류더러 지속적으로 진화하는 능력을 갖게 하는 내용을 포함시켜야 한다. Eliezer Yudkowsky 는 하나의 목표를 제기하였다. 그는 이 목표를 일관적 외부 개척의 의지라고 부른다. 이 목표는 아래와 같이 서술할 수 있다:

우리의 일관적 위부 개척의 의지란 우리가 더욱 많은 것을 알고 싶어하고 더욱 빠르게 사고할 수 있기를 바라며 우리가 희망하는 것 보다 더욱 좋은 사람으로 되고 싶어하고 더욱 멀리 성장할 수 있기를 바라는 것이다. 여기서 외부 개척은 발산이 아니라 수렴을 하는 것이고 우리의 염원은 침범받는 것이 아니라 일관적인 것이다. 우리가 외부 개척하려고 하는 부분은 개척되어야, 우리가 해독하려고 하는건 해독되어야 한다.

인류의 운명이 컴퓨터가 위 성명을 예외없이 독해하고 집행하는데 달려있다는 것은 우리가 기뻐해야 할 일인가? 당연히 아니다. 하지만 충분히 많은 똑똑한 사람들이 충분히 많은 사고와 예견을 녹여넣으면 우리는 아마도 어떻게 우호적인 초인공지능을 개발해낼 수 있을 지 발견할 수도 있을 것이다.

하지만 현재 각 정부, 회사, 군대, 과학 연구소, 검은 마켓 조직들에서 모두 여러가지 인공지능을 연구하고 있다. 그중 많은 곳에서는 자체 개선이 가능한 인공지능을 만드는 것을 시도하고 있다. 어느 날엔가 어느 사람의 혁신으로 인해 초인공지능은 출현하게 될 것이다. 전문가들은 2060 년 일것이라고 예언하고 커즈와일은 2045 년으로 추정한다. Bostrom 은 미래 10 년에서 21 세기 끝나기 전까지의 시간대로 추정하고 있으며 그것이 발생할 때 지능의 이륙은 우리가 깜짝 놀랄 만큼 빠를 것이라고 한다. 그는 이런 광경을 아래와 같이 묘사했다:

지능폭발이 발생하기 전에 인류는 마치 폭탄을 장난감으로 삼아 장난치는 어린 애와 같다. 우리의 장난감의 어마어마함과 우리의 미숙은 극도로 어울리지 않는다. 초지능은 우리가 아직 긴 시간동안 직면할 수가 없는 도전이다. 우리는 그 폭탄이 언제 터질지 모른다. 비록 우리의 귀에 그것의 똑딱거리는 소리가 들리지만.

물론 우리는 모든 어린 애들을 폭탄 곁으로부터 쫓겨보낼 방법이 없다 — 인공지능 연구에 참여하고있는 크고작은 조직들은 너무나도 많다. 창조적인 인공지능을 제조하는 것이 그렇게 많은 돈을 사용하지 않는다. 그리고 연구개발은 사회상의 그 어떤 구석에서도 발생할 수 있으며 규제를 받지 않는다. 그리고 우리는 그 연구들의 정확한 진척도를 파악할 방법이 없다. 많은 조직들은 경쟁자들이 알까봐 암암리에 연구를 진행하기 때문이다. 일예로 옆집 김아저씨 로봇회사 같은 회사들.

이런 조직들에 있어서 가장 우리 골머리를 앓게 하는것 이들중 다수는 속도를 겨루고 있다는 점이다 — 그들은 하나하나 기존보다 더욱 총명한 약인공지능들을 만들어내고 있다. 왜냐하면 그들은 경쟁사보다 더욱 빨리 목표에 도달하고 싶어하기 때문이다. 일부 더욱 야망있는 조직들은 최초의 강인공지능을 창조해냄으로써 얻을 수 있는 금전, 상, 명예, 권력 등 보상때문에 걸음을 더욱 재촉할 것이다. 사람들이 전력 질주를 하고 있을 때 사람들은 마음을 가다듬고 이런 위험성에 대해 생각할 겨를이 별로 없다. 반대로 그들은 최초 시스템을 짤 때 최대한 간단한 코드를 짜려고 할 것이며, 예를 들어서 펜으로 말 한마디를 쓰기, 먼저 시스템을 실행시키는데 성공하고부터 보려고 할 것이다. 뭐 앞으로 다시 수정하면 되는 것들이니까. 그치 않냐?

Bostrom 이 유추하기를 세계 최초의 초인공지능이 출현한 후에 굉장히 높은 확률로 그는 아마 이 세계의 유일한 초인공지능으로 있는 것이 자기에게 가장 유리한 것이라는 것을 인식할 것이라고 한다. 그리고 빠를 이륙 상황에서 그것이 이등보다 고작 며칠만 앞섰다고 하더라도 그는 그의 모든 경쟁자들을 말살시킬 시간을 충분히 갖게 된다. Bostrom 은 이것을 결정적인 전략적 우세라고 부른다. 이런 우세는 첫 초인공지능으로 하여금 영원히 이 세계를 지배하게 할 것이다 — 그것의 지배하여 우리가 영생으로 향하든 아니면 멸종으로 향하든.

이런 현상은 우리에게 유리할 수도 있고 우리의 멸망을 초래할 수도 있다. 만약 인공지능이론과 인류의 안전을 고심초사하는 사람이 최초로 우호적인 초인공지능을 개발해낸다문 우리에게는 좋은 일이다.

하지만 일이 다른 방향으로 틀어진다면 — 만약 초인공지능이 우리가 어떻게 인공지능의 안전성을 보장할 수 있을 지 알아내기도 전에 개발되여버린다면, 옆집 김아저씨 같은 비우호적인 초인공지능은 세계를 지배할 것이며 우리를 멸종시킬 것이다.

우리가 초인공지능의 안전을 보장

현재 동향에 관련해서는… 간단하게 말해서 인공지능기술 혁신에 투자되는 돈은 인공지능 안전 연구에 투자되는 돈보다 훨씬 많다. 낙관적이지 않다.

인공지능 혁신과 인공지능 안전 사이의 경주는 아마 인류 역사에서 가장 중요한 한차례의 경주로 될 것이다. 우리는 정말로 우리의 지구에 대한 지배를 종말지을 수 있다. 그 뒤로는 우리의 영생인지 멸종인지 우리는 아직 알 수 없다.

한방면으로는 우리 이 종에 대한 사고이다. 보기에 이 중요한 역사적 단계에 우리에겐 한번의 기회만 주어진 것 같다. 우리가 만든 최초의 초인공지능이 아마 최후의 하나가 될 것이다. 하지만 우리는 대부분 제품의 1.0 버전은 버그투성이라는 것을 잘 알고 있다. 그래서 이 일은 좀 무섭다. 다른 한 방면으로는 Bostrom 이 제기한바와 같이 우리는 아주 큰 우세를 가지고있다 — 우리가 선수이다. 우리는 이 일에 대해 충분한 경고와 선견을 제공함으로 우리가 성공할 확률을 더욱 높일 수가 있다.

이 럭셔리하고 화려한 도박에 건 판돈은 어느 정도일까?

Outcome-Spectrum

만약 초인공지능이 정말로 21세기에 달성하고 그것이 미치는 영향이 정말로 대부붕의 전문가들이 예측한바와 같이 극단적이며 영구적이라면 우리의 어깨는 정말로 무거운 것이다. 우리 이후로 수백만년의 인간들은 모두 두 눈을 빤히 뜨고 우리를 쳐다보면서 우리가 일을 망치지 않기를 바랄 것이다. 우리는 미래의 모든 인류에게 생명을 줄 수도 있고, 그것도 영생을, 반면에 우리는 인류라는 이 특수한 종을 종결지을 수도 있다. 우리가 만들어낸 모든 음악, 예술, 호기심, 웃음소리, 수없는 발견들과 발명들 등 모든 것들과 같이 파멸의 심연속으로 빨려들어갈 것이다.

필자는 이 일을 생각할 때 우리가 이 일을 좀 천천히 했으면 한다. 그리고 유난히 조심성있게 했으면 한다. 종래로 이것보다 더 중요한 일은 없었다 — 우리가 아무리 많은 시간을 들여야 이 일을 맞게 할수 있어도 말이다.

그리고 난 죽기 싫어.

죽.기.싫.어.

Outcome-Spectrum-2

필자는 물론 인류의 음악과 예술이 모두 좋다고 생각하지만 그것들이 그토록 좋지는 않을 수도 있다고 생각하며 심지어 일부는 꽤 쓰레기라고 생각한다. 많은 사람들의 웃음소리는 심지어 짜증난다. 미래의 인류들도 사실 우리는 지켜보고있지 않을 것이다. 그들은 아직 존재하지 않기 때문에. 아마도 우리는 그토록 신중할 필요가 없을 수도 있다. 얼마나 번거롭냐.

만약 인류는 내가 죽은 다음에야 영생의 비밀을 발견한다면 얼마나 개떡같냐.

하지만 당신이 어떻게 생각했든간에 우리는 최소로 모두 생각은 한번쯤 해봐야 하고 다른 사람과 토론도 해봐야 할 것이며 모든 사람들이 자기의 힘을 보태야 할 것이다.

<왕좌의 게임> 이 생각난다 — 우리끼리 치고 박고 피터지게 싸우는 것, 쯤이야 일도 아니다. 북쪽 성벽넘어에 있는 그 무엇이 다가오고 있다는게 진정한 문제이다. 우리는 평균대 위에 서서 한발한발 조심히 앞으로 나아가고 있으며 평균대 위의 종종 사사건건들로 골머리를 앓지만 사실 우리는 1초 뒤이면 평균대에서 떨어질 수가 있는 상황이다.

우리가 만약 평균대에서 아래로 떨어진다면 기타 모든 고민들은 더이상은 고민도 아니다. 우리가 만약 상대적으로 좋은 그 흡인상태로 떨어진다면 그런 고민들은 자연스럽게 다 해결될 것이고, 만약 상대적으로 나쁜 그 흡인상태로 떨어진다면 더욱더 문제가 없을거다 — 죽은 높은 고민이 없으니까.

이것이 바로 초인공지능을 요해하는 사람들이 그것을 인류의 마지막 발명이자 마지막 도전이라고 하는 원인이다.

초인공지능 인류의 마지막 발명

그러니까 우리는 이 화제에 진지하게 임하자구. ^^7

https://coolspeed.wordpress.com

[📪정보] 특이점 입문 -완-

댓글 4

다른 게시글