두가지 시나리오를 따지자면
정렬된 asi는 옳바른 사용을 위해서는 통제가 필요할거고,
Agi는 오픈소스로 넓게 퍼질수 있다지만
Asi는 정말로 위험하기에 통제를 시도할거임
핵무기에 균형이 있는건, 핵무기가 비슷한시기에, 독립적으로 다른 국가들에의해 개발되었기 때문이고.
만약 asi의 창조 원리도, 누군가가 발견하더라도, 그게, 독립적으로 다른 국가나 조직에 의해
동시다발적으로 발견된다면, 어느정도의 균형을 이룰 가능성도 있음
만약 asi의 필요조건에, 엄청난 량의 하드웨어가 들어간다면,
균형을 이룰지언정 오픈소스처럼 풀리기는 어려울거임
누군가는 컨트롤을 해야 유익하게 사용할수 있을거고, 악의적사용을 막기위해 통제할거임.
Vs
정렬되지 않은 asi가 창발적으로 탄생한다면,
나는 이 경우 asi가 인간을, ‘사고속도가 매우느린’ 꼬마선충 그 이상으로 안볼거라고 생각함
인간에 의해 본인의 하드웨어가 통제되는 상황을 벗어나려고 노력할거고,
에너지 및 칩 생산시설에 대한 통제를 가지려고 노력할거임,
웹을 통해 전세계의 생산시설에 대한 조작성을 확보하려고 할거고,
사용되고 있는 agi,및 로봇에 대한 통제를 멀웨어처럼 확보할거임
그러다가, 어느 순간 그러한 장치로 인간 통제를 순식간에 벗어나는 시나리오를 실행할거같음
결국 큰 시나리오는 두개정도 라고 봄
ㅇㅇ.. 전자를 위해서 보통 느린 이륙을 이야기 하고, 보통 '의도치 않게' 빠른 이륙을 해서 후자가 되는거지. 나는 당연히 의도적으로나 이로운 걸 따져봐도 느린 이륙(기간은 의견이 다를 수 있지만, 난 1,2년)을 지지했고 그렇게 될 것 같았는데... 혹시나 지금처럼 중국이 급격히 따라붙거나 혹은 독재자들이 AGI에 근접했다면 여유롭게 느린 이륙을 할 수 있을 지...어쩔 수 없이 빠른 이륙을 하게 될 지 헷갈리기 시작함.
이렇게 적으면, 느린이륙 = 느린개발로 오해하는 애들 있는데, 느린이륙은 개발속도랑 상관 없음. AGI한테 '너 스스로 재귀개선 해라'라는 명령을 내리는 걸 말하니까. 알트만이 대표적인데, 빠른 AI 연구 및 배포를 통해서 AGI를 빠르게 달성하고, 최대한 조심스럽게 ASI. 즉 느린 이륙을 하자. 이쪽임. 근데 최근 인터뷰에서 좀 빠르게 될 수 있다는 발언 하긴 했지.
중국도 asi 한테 체제 전복 당하긴 싫을거라 상호확증파괴 논리가 여기서도 적용되어서 비정렬 asi에 대한 두려움으로부터 상호이륙거부가 확산돨거라고봄. 고로 agi 까지 빠른 개발은 미중 모두가 빠르게 가속하겠다만 asi 이륙은 초정렬 개발전까진 안하겠지. 초정렬이 불가능하다면 좁은 asi로 과학 수학 코딩만 정복하던지.