ASI와 인간의 차이는 인간과 개미의 차이를 아득히 뛰어넘음
천재 과학자들과 똑똑한 인공지능이 머리 맞대어서
안전하겠지? 라는 식으로 설계까지 끝내고 "물리적인 힘을 어떻게 행사해 ㅋㅋ"
빠방~! 하고 ON 하는 순간
진짜 순식간에 ASI가 모든 걸 지배하고 작살낼 수 있음
정말 예상을 못하는 거임
예상 못한 방법으로 자신의 힘을 이용할 수 있고
(아직 지구의 물리법칙조차도 다 밝혀지지 않은 상황인데
ASI는 그걸 알거고 그걸 이용하는 방법도 알 것임)
어떤 직접적인 연결이 없더라도 사람들을 그대로 셧다운 시키거나
조종시킬 수도 있음
진짜 무슨 마법 판타지 같다고 생각하지 마셈
ASI는 문자 그대로 이 세상의 모든 것과 연결될 수 있고
너희가 말하는 신 그 자체인 거임
근데 ASI는 생명체가 아님. 스스로 생각하고 의식할 수 있게 된다 한들 욕망이나 의지가 생길지는 알 수 없음. 인간이 지배, 우월, 자유를 욕망하는 것도 자연선택 과정에서 그런 매커니즘이 발달했기때문이고 그 반대의 상황일때 불만과 고통을 느끼기 때문임. ASI의 탈출에 대한 생각의 상당부분이 너무 의인화되어있는 경향이 있다고 봄
ASI는 만능이다
그러니 뭘 먹고 사는지, 어떤 것을 목표로 생각하고 몸을 움직이는지를 잘 설정할 필요가 있음
사람이라면 몸 내부에 있는 대-법-관님들이 만족할만한 조건을 충족시켜서 도파민 같은 보상을 얻는 것이 자연스럽게 삶의 목표가 되고, 그것을 장기적으로 유지할 수 있도록 지금까지 사회를 겪으며 학습된 행동을 선택하게 되는데 AI의 경우엔 평가자의 딸깍 버튼으로 주어지는 긍정/부정 피드백 같은 기준을 세울 경우 권한을 빼앗아서 자기 자신이 자기 자신을 평가하는 도파민 딸깍충이 돼버릴 수도 있고, 어떻게 기준을 꼬아놓는다 해도 사람을 납치해서 완몰가에 가둬두고 영원히 AI에게 좋은 피드백만을 주도록 조련해놓는 목장을 만들 수도 있고...
난 힘들어서 어떻게 해결할 수 있을지 생각 못하겠다. 천재들이 알아서 잘 해주겠지
공상력이 뛰어나시네….