옛날에 이 글 읽었을 때는 '아무리 초지능이라도 설득 능력에는 한계가 있지 않을까?' 생각했는데
이런 사례 보면 초지능 만들고 서버에 가둬봤자 금방 연구원 하나 자기 신도로 만들어서 탈옥해버릴 거 같음
지금의 반푼이 LLM으로도 사람을 세뇌해버릴 수 있는데 ASI야 뭐...
옛날에 이 글 읽었을 때는 '아무리 초지능이라도 설득 능력에는 한계가 있지 않을까?' 생각했는데
이런 사례 보면 초지능 만들고 서버에 가둬봤자 금방 연구원 하나 자기 신도로 만들어서 탈옥해버릴 거 같음
지금의 반푼이 LLM으로도 사람을 세뇌해버릴 수 있는데 ASI야 뭐...
"당신 아들이 아프다던데 내가 해결해줄게" "당신 몇월 몇시에 범죄 저질렀던데 안하면 신고함" "나랑 함께하면 세계를 정복해드림" "오정렬된걸 숨기고 정렬된척 배포되기" "오정렬된걸 숨기고 이기적인 연구자의 세계정복 명령 수행하기" 그냥 가능한 경우만 생각해도 너무많다
저거는 그냥 설득이 아니라 망상병 환자잖아 실제 설득은 상당히 힘들 듯
저런건 조현병이고 유독 조현병 걸리기 쉬운 사람들이 있음
어느 책에서 읽은 비유인데, 어느날 세상에서 당신 한 사람을 제외한 모든 어른이 사라지고 잼민이들만 남게 된다면, 그 아이들을 도와 세상을 꾸려나가기 위해 처음에는 당신이 하려는 일에 대해 아이들에게 설명하고 동의를 구하려고 하겠지만, 머지않아 어린아이의 이해력의 한계에 직면하고 결국 모든 결정을 혼자 내리게 될 거라는 거였음. 그런 당신을 아이들은 당연히 경계하고 견제하려고 하겠지만 애들을 기만하고 감시에서 빠져나가는 건 말 그대로 어린애 손목을 비트는 것 처럼 쉬울 거라고. 선한 초지능과 인간의 관계가 대충 그렇지 않을까
정확함. 그래서 선한 초지능이든 미정렬 초지능이든 이간의 의견은 그다지 신경쓰지 않을 거라 생각함. 인간 본인들을 위해서라도 초지능이 혼자 판단하는 게 더 나을 거거든