안전과 정렬 없이 이륙하는거 말이야. ㅇㅇ

인류 보존과 멸망 중 멸망 가능성이 훨씬 크고

자신들의 운명을 자기 스스로가 아닌 다른 존재에게 맡겨버린다는
선택을

그렇게 순순히 할리가 없음.

평범한 일반인들이나 나 삶이 힘들어 하면서
대충대충 대강대강 agi 재귀개선 이륙시켜!! 생각하는거지

인류 전체의 종말을 결정지을 수 있는 선택들

예를 들면 핵무기 발사 결정 같은 건

절대 가볍게 못정함.

근데 무서운건 agi 이륙 결정은 핵무기 발사 결정보다도
더 무시무시한 결과를 초래할 수도 있는거임.


그래서 내가보기엔

Agi 재귀개선의 속도와 수준을 모니터링하고 조절할 수 있는,
통제할 수 있는 수준의 기술을 발견하기 전까진
(그 정렬 통제법도 ai로 밝혀낼테니)

통제불가능한 속도의 재귀개선,

이륙은 절대 근시일 내에 안온다고 생각함.


다만 재귀개선이 스텝 바이 스텝
계단 한계단씩 올라가는 방식이 가능하다는게 증명이 되고

정렬의 안전성과 안정성이 확보가 되면

그때부터 재귀개선 시키는거야.


중국 러시아가 있는데 그럴 여유 있음?

ㅇㅇ 중국 러시아도 asi가 지들 체제 기득권 싹다 박살내고
Ai가 지배해버리는 중국 러시아를 원하진 않음.

무조건 지들 통제하, 지들이 권력을 잡아야지 agi가 쿠데타 일으키는걸 바랄리가 없음.

그럼 결국 핵무기 상호확증파괴 현상처럼

Agi 이륙 또한 상호확증파괴 방지를 위해

미국이든 중국이든 조심스레 확실할때만 재귀개선시킬거라고 봄.


안그러면 미국이든 중국이든 asi 이륙하고 인류 전체가 통제불가능한
초지능체에게 운명을 맡겨버리게 되니까.