https://coolspeed.wordpress.com/2016/01/03/the_ai_revolution_1_korean/





...(중략)

인공지능의 사고방식은 컴퓨터와 똑같다. 우리가 늘 범하는 한가지 실수는 바로 아주 총명한 인공지능을 얘기할 때 늘 그것을 의인화 한다는 것이다. 이렇게 된 원인은 인간의 시점에서 보았을 때 인간지능 수준에 도달한 것은 인류밖에 없기 때문이다. 초인공지능을 이해하려면 우선 알아야 할 것은 그것은 아주 총명한게 확실하지만 그것은 완전히 이질 (異質) 적이라는 점이다.

이런 비교를 해보자. 만약 당신에게 흰생쥐 한마리 주면서 그것이 사람 물지 않는다고 알려주면 당신은 아주 재밌고 귀엽다고 느껴지겠지. 하지만 당신한테 한마리 타란툴라 독거미를 주면서 그것이 사람을 물지 않는다고 알려주면 당신은 아마 놀랄 것이다. 하지만 여기에서 차이점이 무엇인가? 두 동물은 모두 사람을 물지 않는다 즉 모두 안전하다. 필자는 그 차이가 바로 동물과 사람의 유사성에 있다고 본다.

흰생쥐는 포유동물이다. 따라서 생물학적으로 당신은 그것과의 일종의 연관성을 느꼈을 것이다. 하지만 타란툴라 독거미는 곤충이고 곤충의 뇌를 가졌다. 당신은 그것과의 추호의 연관성도 느끼기 어렵다. 타란툴라의 이질성이 바로 당신으로 하여금 두려움을 느끼게 하는 부분이다. 만약 우리가 계속하여 하나의 테스트를 더한다면, 예를 들어서 당신한테 희생쥐 두마리를 주는데 그중 하나는 일반 희생쥐이고 다른 하나는 타란툴라의 뇌를 가진 희생쥐이다. 어느 것이 당신으로하여금 더욱 불편을 느끼게 할 것인가? 두마리 모두 당신을 물지 않을거지만 말이다.

이젠 당신이 그 타란툴라를 개조하여 아주 총명해지게 되었다고 치자 — 심지어 인간보다 더 총명하다고 치자. 그렇다고 해서 당신은 그것에 더욱 익숙함을 느길 것인가? 그것은 인간의 감정을 느낄 것인가? 아니다, 왜냐하면 보다 총명하다는 것은 보다 인간적이라는 뜻이 아니다 — 그것은 아주 총명할 수 있지만 본질적으로 여전히 타란툴라 독거미일 뿐이다. 필자는 한마리의 굉장히 굉장히 총명한 타란툴라와 친구가 되고싶지 않다. 당신은 그러고 싶은지 아닌지 모르겠지만.

우리가 초인공지능을 얘기할 때도 사실 같은 도리이다. 초인공지능은 아주아주 총명하지만 사실 당신의 노트북보다 추호도 더 인간과 닮지 않았다. 사실상 초인공지능은 생물이 아니기 때문에 그 이질성은 더욱 강하다. 생물학적으로 봤을 때 초인공지능은 타란툴라 독거미보다 더욱 이질적이다.