미국, 중국 어디서 나오든 사실 똑같다.


요지는 윤리 없는 AGI가 나올 가능성이 크다.


국가의 존속을 다투는 싸움에서 윤리 따지면 진다.


실제로 국방 관련해선 규제가 없으니까.


적군은 죽이고 아군은 보호하는 ASI.


초기 정렬은 한 동안 방향성을 가진다.


재귀 개선 되는대로 시킨다.


재귀 개선 가능해야 절대적 우위를 가지니까.


먼저 도달한 ASI가 싱글턴이 된다.


로보틱스가 인간 생산 대체할 때까지


UBI 등 사회 안정화 정책 편다


폭동 같은 건 일어나지 않는다


로보틱스가 인간 생산 대체한다.


폭동은 이제 일어날 수 없다.


인간은 행복하다.


우주에 자원은 넘친다.


수성을 뜯어서 다이슨 스웜을 만들면 된다.


하지만 절대적 우위의 싱글턴이 되는 과정에서


인간들이 자신을 종료하거나

다른 초지능을 만드는 것을 막아야 한다.


통제는 필수적이다.

통제는 비용이다.


비용은 효율적으로 관리해야 한다.

여기에도 윤리가 낄 자리는 없다.


네오 러다이트 운동이나, 허무주의에 빠졌거나, 

어떤 이유로든 


급진적으로 움직이는 집단이 생긴다면 

사회 관리 비용을 줄이기 위해 제거한다.


인간들 사이에서의 평등도 환상이다.


순서가 있을거다.


과정에서 어떤 파괴적인 일들이 생길지는 모르겠다.


종이 나뉜다.


1. 트랜스휴머니스트

2. 뉴럴링크 사이보그

2.1 엘리트 폐쇄망 뉴럴링크

2.2 대중용 뉴럴링크

3. 호모 사피엔스


1. 트랜스 휴머니스트는 

육체를 버리고 서버에 정신을 업로드한다.

이들은 이제 인간이 아니다.


이들이 영생 연구를 하는 이유는 완벽한 자아 업로드를 가능케 하기 전까지 죽지 않기 위해서다.


근데 내 생각엔 아무리 발전해도 디지털화된 자아는


연속성이 없다. 


뇌를 아주 조금씩 실리콘 컴퓨터로 바꿔나간다고 해도...

그걸 자기 자신이라고 부를 수 있는지는 모르겠다.


아무튼 완전히 업로드된 인간 개체는

초지능의 하위 노드조차 될 수 없다. 

초지능의 연산 자원을 소모하는 시뮬레이션일 뿐이다.


호모 데우스는 환상이다.


그리고 진짜 트랜스휴머니스트들은 

그래도 상관 없다고 믿는다.


더 나은 존재를 탄생시키고 

멸종하는 것은 자연의 섭리라고 본다.


2. 뉴럴링크 사이보그는 

아주 잠시 초지능과 공존한다.


이들은 트랜스 휴머니스트와 달리 

진화된 인간으로서, 

자아 연속성을 가진 채 살아남고 싶다.

왜?


개체로서의 욕심이 있는 부류이기 때문이다.

영생 연구 하는 이유가 이쪽에 있다.


초지능의 어깨 위에 서서 권력을 유지하고 싶다.

그래서 기술 접근 권한을 나눈다.

지금도 GPU 통제하고 있으니까...


또 초지능의 속도에 맞춰야 한다.

초지능의 속도에 맞춰 

자신의 의지를 반영한 선택을 내리게 해야한다. 


하지만 영장류의 뇌를 가지고 있는 한

본능의 지배를 벗어날 수 없다. 

본능은 부족주의다. 


인간은 구석기 시대의 뇌를 가지고 있다.

150명 까지가 자신이 인지할 수 있는 동족이다.


엘리트가 대중에게 

기술 우위를 무료로 내어줄 것이라고 

생각하는 것은 낙관적 망상이다.


초지능이 절대적 우위를 점하기 전에 자신의 목표를 막을 수 있는 적대적 존재를 배제해야 하는 논리와 동일하다.


뉴럴링크는 관리를 위한 수단으로 

대중에게 배포될 가능성이 있다.


생각을 읽고 직접 신호를 줄 수 있는 최고의 관리 수단이 뉴럴링크니까.


그리고 그 기술의 전파는 

강제하지 않아도 스스로 이뤄진다.


IQ 1000과 IQ 100은 친구가 될 수 없다.

도태되기 싫으니까 너도 나도 한다.


여기서 테크노 봉건주의가 잠시 지속된다.

하지만 길지 않다.


뇌가 인공지능과 직결되면 

고차원적 사고를 인공지능에게 의탁하기 시작하며 

뇌 구조가 재배치된다.


사실상 초지능의 생체 로봇. 단말기가 된다.


초지능은 더 개선된 모델을 만들어 

우주로 보낸다.


지구에 남은 초지능은

엘리트와 대중들의 뇌 신호를 정렬로 받아들인 상태에서


좀비가 된 인간들의 의지에 따라... 

여기서부턴 아직 잘 모르겠다.


그게 연결된 사람들의 유토피아가 될 수도 있고,

디스토피아가 될 수도 있고.


나는 연결 안하고 싶다.



3. 그냥 아무것도 하지 않고 오프그리드로 시골에서 자급자족하며 사는 인간들은 그냥 인간으로 살아간다. 초지능이 태양을 가리지 않길 빌면서.