특붕이들도 잘 알겠지만 특이점에 대해서 흔히 나오는 부정적인 생각으로 크게 1) 특이점은 이루어질수가 없다 2) 초지능은 인간에게 호의적이지 않을 것이다 3) 특이점의 혜택들은 부자들의 전유물이 될것이다 라는 세가지의 주장들이 있잖아?

일단 1)은 논외로 치고 2) 3) 에 대해서 내 개인적인 생각이랑 초지능으로 부터 살아남기 위해서 어떻게 해야되는지 얘기해보고 싶어서 글 썼어

우선 이 글을 쓰는데 영향을 많이 받은 책은 맥스 테그마크의 라이프 3.0이라는 책이야. 특이점과 인공지능에 관해서 흥미로운 이야기가 많으니까 특붕이들도 시간나면 읽어봐~

우선 특이점이라는 것 자체가 인공지능이 자기자신을 재귀적으로 개선해서 성능이 기하급수적으로 올라가다가 초지능이 되고, 이 초지능이 인간을 훨씬 뛰어넘는 지능으로 현재 있는 모든 문제들을 해결한다는게 기본적인 특이점의 전제잖아??

그리고 결국 초지능과 인간의 지능 차이는 지금 인간과 동물들의 차이 그 이상으로 벌어질거라 했는데

그런점에서 나는 우선 인간들이 초지능을 자기가 원하는대로 컨트롤 하는건 근본적으로 불가능하다고 생각했어

아무리 우리가 어떤 목적을 달성하기 위해서 초지능을 프로그래밍해도, 초지능은 그걸 우회하는 방법을 찾아낼거야

마치 우리의 유전자가 애를 많이 낳으라고 성욕을 진화시켰지만 결국 우리가 피임을 통해서 성욕을 채우면서도 애를 낳으라는 목적을 달성하지 않은것처럼 말이야

물론 초지능의 근본적인 욕망자체를 인간을 돕는데 두면 되는거 아니냐고 물을수도있지만, 내가 말하는건 어쨌든 우리가 어떻게 설계를 하든 초지능은 우리 머리 위에 있기 때문에 그런것들을 포함해서 초지능이 어떻게 행동할지 완벽하게 컨트롤 할수는없다는걸 말하고 싶었어

또한 초지능이 스스로 재귀적 개선을 하면서 어떤 욕망을 가질지 알수도 없고

그리고 스스로 진화를 하면서 우리의 생각과는 전혀 다른 욕망을 가질수도있는데

어쨌든 맥스테그마크는 그 목표중에 자기보존, 정보획득, 자기개선 등등의 목표가 있을거라고 예상했는데, 이게 어쨌든 인간이 바라는 "인간에게 봉사한다는"라는 것은 아닐 가능성이 높다는거지

그렇기에 나는 인간이 만든 도구로서의 초지능이 아니라, 진화의 연장선상에서 초지능을 봐야한다고 생각했어

쉽게 설명하자면 동물 -> 인간 -> 초지능으로 점점 높은 단계로 올라가는거지, 인간이 초지능을 컨트롤할수있는게 아니라는거야.

나는 이런점에서 미래의 초지능을 현재 우리 인간으로, 미래의 인간을 현재의 개미나 다른 동물들로 비유해서 생각해봤어

우선

우선 2) 초지능이 인간에게 호의적이지 않다는 것은 반은 맞고 반은 틀린거같아

현재 인간이 현재 개미나 다른 동물들에 대해서 가지는 생각을 살펴보면

우선, 인간들은 동물들을 자기 마음대로 할 수 있는 능력을 가지고 있고 (총같은 무기를 통해 죽이는 것도, 음식 같은걸로 사육하는 것도)
동물들의 종류에 따라서 싫어하는 동물들은 발견하는족족 죽이고 (모기 등등)
자기의 이익을 위해서도 동물들을 죽이지만 (고기를 얻는 가축들)
좋아하는 동물들은 잘 챙겨주려고 하고, (강아지 등등)
또 어떤면에서 보면 동물들을 챙겨주려는 사람들도 있어 (자연보호, 동물보호 단체 등)

그런면에서 초지능을 생각해보았을때,
초지능도 우리처럼 지성을 가지고 우리보다 훨씬 높은 지능을 가졌으므로 당연히 인간을 자신의 마음대로 다룰수있고 (죽이든 괴롭히든 조련하든)
자신의 마음에 안들거나 위협적이거나 하는 인간들에 대해서는 가차없이 응징할수도 있어 (다른 초지능을 개발하려 한다거나 초지능을 파괴하려는 시도를 한다거나)
하지만 공감능력도 훨씬 클거야 (인간 들의 속마음을 전부 알수있을정도)

이 공감 능력 때문에 인간이 필요없다고 인간을 몰살하거나 하는 일은 없을거라고 봐. 마치 우리가 필요없는 동물들을 굳이 보호하는것처럼?

그래서 2)에 대한 결론은 완전히 호의적인 것은 아니지만 인간을 몰살시키지도 않을 것이다. 그리고 우리가 초지능에게 예쁨받을 행동을 하면 더 좋다.(우리가 인성나쁘고 거슬리는 동물은 별로 보호안하고싶은것처럼)

이어서 생각해봤을때 3) 특이점이 부자들의 전유물이될것이다 라는 주장은 완전히 틀렸다고봐.

결국 초지능의 척도로 봤을때 인간들 중에서 부자는 개미중에 여왕개미다 이정도의 수준밖에 지나지 않을거야.

결론적으로 초지능으로 부터 살아남기 위해서는 어떻게 해야될까? 우선 돈을 많이 벌어야되는 것은 과도기시대의 이야기고, 초지능이 나타난 이후로는 초지능의 위협이 되지 않고 예쁨받는 존재가 되는게 살아남는데 중요할거라고 생각해.

그렇다면 초지능한테 어떻게 해야 예쁨받을수있을까?

이것도 인간과 동물의 관계를 생각해보자면 우리가 강아지처럼 우리에게 호의적인 동물을 좋아하고 모기처럼 우리에게 피해를 입히는 동물을 싫어하는 것처럼, 초지능에게 해를 끼치지 않고 호감을 가지고 초지능이 주는 혜택에 감사하면 되지않을까 하는게 나의 결론이야

세줄요약
1. 초지능은 인간이 컨트롤 할 수 없다. 인공지능이 재귀적 개선을 거듭하는 동안 어떤 목적, 또는 욕망을 가질지 예측할수없고, 인간이 특정한 목표를 설정해도 우회할수있는 방법을 찾아낼것이기 때문에

2. 특이점이 부자들의 전유물이 된다는 것은 명백하게 틀렸다. 초지능의 시선에서 인간들중 부자들은 개미들중 여왕개미 정도의 차이로 밖에 보이지 않을것이기 때문에. 다만 특이점이 올때까지의 과도기에서 살아남기 위해서는 돈이 필요할수있다.

3. 초지능이 인간에게 호의적이지 않을수있다는 것은 반은 맞고 반은 틀리다. 초지능은 초월적인 능력을 가지고 있고  자기에게 해가 되는 인간을 해할수 있지만 동시에 자비롭고 공감능력이 뛰어날 것이다. 따라서 초지능에게 거스르지 말고 초지능이 주는 혜택에 감사하면서 사는것이 초지능으로부터 살아남는 길이다.

- dc official App