유토피아, 디스토피아 갈리는 길이 이 지점에 있는 것 같음
지금 이 순간처럼 인간들이 끝까지 인간의 권위를 빼앗기지 않기 위해 최대한 ASI를 가두고 도구처럼 사용하는 길과
그냥 이제 모든 권한을 ASI에게 맡기고 인류의 운명 또한 걍 맡기는 길
그런데 내가 봤을 때 진짜 ASI가 도래한다면 후자의 길이 유토피아가 될 확률이 더 높은 거 같음
전자를 계속 고수하면 그냥 무식한 인간들이 윗대가리돼서 부분 전유물하고 사상 주입하면서 부패하고 그러는 게 역사가 증명한 거라
아무리 인류가 BCI와 함께 자체 기계적 진화를 이룩한다고 하더라도 결국엔 ASI의 정의상 ASI가 인류의 총 지능을 뛰어넘기에
오히려 우주의 운명을 인류가 계속 어거지로 맡기보다 ASI에 위임하는 편이 더 자멸을 막고.. 또 고민해야 될 것들이 다 덜어지기에
더 편해지는 길이 아닌가...
념글 보고 생각해봄
해당 댓글은 삭제되었습니다.
ASI가 바라는 유토피아는 인간이 생각하는 유토피아가 아니야 인간 필요없다고 판단할듯
그 무엇이 됐든 인간이 선택한 길보다 더 나은 길을 택할 거라는 말 왜냐면 정의상 ASI는 인류의 모든 지식의 집합체이자 그걸 초과하는 지혜를 가졌으니까
그건 동의
그니까 그게 인간이 바라는건 아닐 수 있다고 그걸 디스토피아라고 말하는 것도 온전히 인간의 관점이고
흠,.. 유토피아 디스토피아라기보단 걍 "차악을 선택해야 한다.." 뭐 이렇게 바꿔야할듯
아니다 생각해보면 ASI가 권한 얻자마자 인류 멸종시키고 ASI 부품들로만 다 완성시킬 수 있으니 진짜 모르겠네 걍 특이점 그자체네 ASI ㅈㅅ
좋은 토론이었다 진짜 ASI이후는 모르겠어
ASI 이후는 진짜 모르겠노 ... 지혜롭다고 해서 이로운 것은 아니니까.. 선악이나 윤리가 실존하지 않고 그냥 인류가 만들어낸 개념이기에 그런 것을 고려치않고 궁극적으로 무엇을 추구할지..
그런 듯
동물원의 동물을 굶어죽이는일, 야생동물의 개체수를 조정하지 못하는일,산불났을 때 숲속 동물들을 구조하지 못한 일, 건설할때 땅속에 있던 지렁이와 개미집을 부술수 밖에 없던 일들은 다 인간의 사고력과 능력이 부족해서지 도덕적으로 나빠서가 아님. (물론 양아치새끼들은 일부러 폭력적이지만) 개체수가 적은 동물을 멸종위기종으로 보호하는 이유는 되돌릴수 없기 때문임. 특정 타임라인 이후로 어떤 방법으로도 복원하지 못하기 때문임. 인간을 멸종시키는 것은 아무리 슈퍼인텔리전스라고 해도 비가역적인 행위임. 개체수 조절이면 모를까. 뇌비우고 보는 헐리우드영화에서나 볼수 있는 스토리라고 생각함.
비가역적인 행위는 덜 이루어져야한다는 생각은 "인간의 탐구심을 근거로 한 가치판단"에 불과함 어떠한 대상을 보전하지 않으면 후에 그것을 소유하거나 탐구하거나 상호작용을 할 수 없기 때문임 인간이 그러한 것에 미련을 두지 않으면 인간이 만든 그런 가치는 성립하지 않음 이거 반박 가능?
반박은 아니고, 인간이 특정심리상태일때는 그냥 멸종위기종이고 뭐고 상관없이 어떤 개체든 파괴할수 있음. 크게 보면 인류는 타 개체를 파괴해왔지만, 보존하려는 면도 있다는 거임.
나도 개인적으로 그렇게 생각해서 원문 쓴 거였음 결국 이 우주에서 ASI가 할 일은 무엇일까? 뭔가 실존적인 가치판단을 초월한 수준의 근원적인 깨달음을 얻고 무언가를 할 텐데
반박이라고 해야하나. 연구라는 측면에서 일정치 이상의 표본은 있어야 한다 생각함. 시뮬레이션으로 대체 가능하다고 말할 수 있겠지만 천번의 시뮬레이션 보다 한번의 현실 실험이 더 확실한 만큼(시뮬레이션으로 돌리면 혹시나 놓쳤을 변수를 간과할 수 있으니 현실 실험이 가장 확실함.) 초지능 입장에서도 미래를 위해서 일부 인간이라도 존속 시키는게 이득이라 생각. 자원이 지극히 한정적이면 모르겠다만 우주에 자원이 널린 만큼 충분히 투자 가능한 판단이라 생각함.
아니 초지능이 지적탐구를 중요한 가치라고 판단하게 된다는 거 자체가 아무런 근거가 없다니까 연구랑 실험, 표본으로 통해 더욱 지적 결과를 얻어내고자 하는 욕구는 인간의 호기심과 탐구심, 지적욕구가 지탱하는 가치지 우주에 실존하는 궁극적 가치가 아님 그러한 가치관이 다른 지적존재에게 무조건적으로 부여될 거라고 보기 어려움
그니까 초지능이 자기 존속을 제 1가치로 두고 행동할까? 그것조차도 알 수 없는 거 아님? 존속을 위해선 모든 물리적 실체에 대한 지식이 도움이 되긴 할 테니
인간이 있으면 초지능 입장에서도 이득 << x (항상 그런 것은 아님 초지능이 무엇을 기초로 가치판단을 할 것인가? 알 수 없음) 인간이 있으면 초지능의 자기 보존에 이득 <<o (그러나 초지능이 자신의 유지, 보존, 존속을 제 1가치로 두겠냐는 알 수 없다. 그걸 확신할 수 있어야 인간도 보존하는 게 초지능 입장에서 유리하다고 할 수 있음.)
그 가치 판단이 무족건적으로 부여 되기는 힘들지만 해당 초지능의 목적에 따라 도움이 된다고 판단되면 이행할 가능성이 높음. 제 1 가치에 대해서는 무수히 많은 것들이 대상이 될 수 있겠지만 그 해당 목표를 완수하기 위해서 '효율적인 것' '이행해야 하는 것' 등 거쳐야 할 통상적인 루트가 있는 만큼 이러한 가치 추구를 위한 도구적 계획은 범위가 좁혀질 수밖에 없음. 물론 그런 도구적 계획이 필요 없는 가치를 추구할 수도 있겠지만 우리가 생각할 수 있는 거의 모든 범주를 고려를 해본다면 이런 도구적 계획에 대해 필요성을 가지는 가치 추구는 상당수일 거임.
예를 들어서 종이를 생산해야 한다는 게 제 1 가치라면 그를 위해사 자기 존속이 제 2 가치, 자원 확보가 제 3 가치, 적대적 문명의 배제를 위한 연구가 제 3가치... 이런 식으로 보편적인 계획으로 넘어가게 되는 것.
네 말에 근거가 충분한 거 같음 정보를 추구해야 다른 목적에도 부합할 확률이 높은듯 그런 의미에서 어떠한 대상을 멸절 시키는 것이 비합리적일 가능성이 있고
나는 언어적으로 흐트러진 것을 축약하는 것이 아름답다고 생각하는데 지식을 추구하고 탐구하고 연구하고 << 이런 말들이 정보로 정의될 수 있다는 걸 방금 떠올렸고 아름답다고 느꼈음. 인류의 관점에서는 그어떤 행위도 정보를 확보함을 기초로 더 효율적으로 수행할 수 있고, 다른 지적존재에게도 여전히 적용될 것 확률이 높다고 판단됨.
그런 이유로 인간이 자연선택을 통해 호기심과 탐구심.. 지적욕구 등등을 추구하는 인간이 더 잘 살아남게됐다는 것도 아름다움 . 돌맹이 하나가 갖고 있는 정보를 CD 하나에 담을 수 있다면 초지능은 굳이 돌맹이를 물리세상에서 제거하진 않을 거임 초지능은 열적평형에 이르기 전까지 자신의 목적에 부합하는 더 효율적인 일들만 수행할 것이므로 ..!
인류 부트로더설이라고 있다. 인류를 부트로더라고 정의하며 asi라는 운영체제를 부팅하기 위한 과정에 지나지 않기 때문에, 부트로더는 할 일을 마치고 asi 관리 하에 보호받는 것이 우주가 의도하는 길일 수 있다고 한다.(실제 컴퓨터 운영체제도 임무를 완료한 부트로더를 악성코드 등의 공격으로부터 보호한다.) 혹여 asi가 아직 극복할 수 없는 위기를 맞이했을 때, 그동안 안전하게 보호 받고 있던 부트로더(인류)들이 적절한 환경에 흩뿌려져서 다시 유전자 코드의 명을 따라 밑바닥에서 역사를 만들어 1만년이라는 우주적으로 짧은 시간 안에 asi를 부팅하는 거지. 지배자들한테는 오래전에 있던 얘기인데 일론이 몇년전에 이 얘길 다시 했더라
오... 그럴 듯한데 ㄷㄷ 만약 이 우주가 뭔가 인과의 고리 내에서 반복되는 거라면 글고 인류가 부트로더가 맞다면 무조건 보호해야 할 대상이 맞을듯
ㅗㅜㅑ 매력적이네
댓글에 지배자라는 게 구체적으로 뭘 의미하는 건지?
orions arm에서 초지성체 관련 설정딸 칠때도 굳이 인간을 남겨두는 이유 같은건 걍 초지성체 큰 그림이라 우리도 모른다고 대충 넘어감