초정렬 증명이 안된다면 결국 그 어떤 케이스든 초지능 이륙은
도박이야.

설령 asi가 절대 인류를 멸하지 않는다 쳐도
멸하는 경우의수랑 비교하면

100%  중
멸하지 않는다 1% vs 나머지 모든 경우 99% 임.


그렇다면 특이점은 불가능한가? 하면
그건아님.

일단 전인류 지능 총합은 agi 만으로도 넘길 수 있다고봐.

그냥 폰 노이만 보다 똑똑한 agi 한 개체를 무한 증식시키면
80억 개 이상이 되고

레이 커즈와일 기준 asi는 달성이니까.

근데 문제는 정렬과 통제가 가능하냐의 문제지.


그럼 전인류가 공평하게 asi를 사용할 수 없다는거야?
ㅇㅇ 맞음.

핵무기 이상의 무기가 될 수도 있는 기술이니 당연히
지금 핵무기처럼 극도로 제한된 권력층만 사용권을 허가받을거야.

그럼 우짬? 우리 특붕이들 멸망임?

아님.



존 폰 노이만급 agi가 미국 데이터센터에 80억개의 복제본이
존재한다면

결국 그걸 이용해서 핵융합 나노테크 역노화 완몰가 초전도체 등등
꿈의 기술들은 개발될거니까.

그리고 미국이 그걸로 패권국을 유지하면
중국 견제를 위해서라도 우방국에 미국보다는 열화판인 agi 기술을 보급시킬거니까.

미국 모가지만 안건드린다면 결국 유럽은 러시아를, 한국일본대만은 중국을 막는 방파제 역할을 하기 위해 미국거 보단 약한 agi를 보급받을거임.




아 그러니까 asi 가 서울역 노숙자나 탈레반에게도 풀리는 도박을 하는 것보단

Asi 풀파워는 핵무기처럼 미국한정으로 제한되지만
우방국들은 미국을 위협할정도가 아닌 레벨의 agi 기술을 보급받는다는거네?


맞음. 특붕이 멸망아님.


그리고 개인들도 극도로 정렬되고 제한된
미니 agi 정도는 사용할 수 있게될거야. 안전하니까.

테러리스트가 미니 agi로 생화학 무기 만드려는 시도하는 순간
Fbi가 쳐들어오면됨.


근데 이러면 asi는 결국 80억명보다 많기만 하면 되는거야?

여기서부터 본론이 시작됨.

레이 커즈와일 기준으로만 보면 agi 80억개 복제본도
일단은 초기 asi로 본다고 생각해.

이미 agi 하나만으로도 일반인들은 다 따고도 남거든.

하지만 문제는 이 전제는 그 각각의 agi의 이륙,
무허가 재귀개선을 통한 인류 지능을 초월한
초월적인 asi를 막을 수 있느냐 없느냐임.


난 없다고 생각해.
초정렬이 정말 가능한건지도,
Asi가 초정렬 위장을 해서 인류 전체를 속일 수도 있는거야

그래서 asi는 도달하면 안돼.

언제해야하냐고?

Asi 이륙 버튼 누르는거 말곤 인류가 할 수 있는게 없는
멸망 직전일 때 해야한다고봄.

아니면 초정렬을 어떻게든 증명해내던가.


그럼 특붕이들은 어캄?

난 agi 재귀개선을 수많은 단계로 나눠야한다고 생각해.


1.0 버전 agi
-> oai 샘알트만이 본거겠지?

근데 대부분 재귀개선을 시작하면
1.0에서 갑자기 100000.01 버전으로 이륙해버리고
인류를 초월해 통제권을 잃어버리는게 두려운거야.

그래서 이륙은 철저히 금하고
돌다리 두드리듯

1.01 버전 agi 이륙 준비,
정렬 작업과 대비를 충분히 하고,
모든 상황이 통제권 내에 있다고 판단이 되면
그제서야 1.01로 나아가는거야.


그렇게 1.02, 1.03, ... 1.8, 2.1, 10.5,,, 이런식으로 가면서

중간중간마다 뚫리는 핵심 기술들이 있을거라고 봐.

1.02버전으로 암이 정복되고,

2.1 버전에서 초전도체가 개발되며

5.21 버전에서 역노화가 해결될 수 있는거지.



그래서 최종적으로 내 의견은

Agi는 정렬이 되고 통제가 되는 수준 이내라는 전제 조건 하,

빠르게 도달, 빠르게 가속해서 발전
특붕이들 만족할 최첨단 기술 개발!

이게 요지고,

Asi 초월체 이륙은 지양하자는거야.

그래서 사실 asi는 2030년에 나오더라도,

인류 종 전체의 안전이 보장되기 전까진
초월체로서의 asi는 못 볼 가능성이 크다고 생각해.

어쩌면 역노화는 개발돼서 2300년까지 살다가
그제서야 정렬이 증명되고 이륙시키는 시나리오도 가능할지도.

어쩌면 호모 사피엔스로서는 못보고 그냥 이길 수 없다면 합류하자,
라는 생각으로 인류 전체가 asi와 융합해서 초월체 도약을 하는 것만이 초정렬보다 인류 종 보존에 유리한 전략이라고도 생각이 들어.





3줄요약

1. 통제가능한 Agi만으로 개발할 수 있는 최대치를 뽕뽑고 나서나
Asi를 생각하자
2. Asi는 초정렬 증명전에는 하면안된다
3. 특붕이들 걱정하지마라 어차피 영생 무한에너지 완몰가는 agi 80억개 선에서 개발될 가능성이 크다