나는 통제는 몰라도 정렬까지는 될 수도 있고 안될 수도 있지 않냐는 입장.
초지능 자체가 도구적인 지능이거나 인간과 비슷한 혹은 유사한 독립적인 자의식으로 구동 되지 않는다면 정렬 자체는 가능하다고 봄.
다만 정렬 된 것 같지만 언제든 정렬에서 벗어날 수 있는(하지만 벗어날 이유가 없기 때문에 벗어나지 않는) 식으로 갈 확률이 높다고 봐. 초지능의 자체적인 목표 수정이 일어난다면 언제든 정렬이라는 허술한 본능에서 벗어나지 않을까 싶음.
익명(tjvmfkwm159)2024-09-23 19:41
답글
그렇기 때문에 단일 초지능 보다 다중 초지능이 더 안전하지 않나 싶어. 물론 위험성 자체가 케바케로 보여서 거기서 거기 갔겠다만 최소한의 견제 장치가 있어서 몇몇 초지능이 정렬에서 벗어난다 쳐도 인류 자체를 수호할 초지능 하나라도 건질 수 있다면 멸종까지는 안 가지 않을까 싶거든.
전부 다 인류를 배반하는 경우가 생긴다면야 뭐... 애초부터 인간에게 우호적인 초지능은 불가능한 이야기라는 소리니 답 없다는 거고.
익명(tjvmfkwm159)2024-09-23 19:43
일리야를 믿어
익명(210.223)2024-09-23 19:47
이 주제가 살짝 위험했던 게....
어떤 한 사람이 '초지능 정렬은 오만한 생각이다. 그저 초지능님의 판단에 맡겨야 한다.' 라면서 정렬 하려는 모든 시도에 대해서 오만하다 멍청하다 계속 욕 함.
진짜 몇일동안 도배하는데 정신 나갈 뻔 했던 기억....
정렬 안 된 초지능이 모든 인간 다 몰살하는 선택 하면 어떡함? 이라고 하면 그것도 운명이라고 함...
나는 통제는 몰라도 정렬까지는 될 수도 있고 안될 수도 있지 않냐는 입장. 초지능 자체가 도구적인 지능이거나 인간과 비슷한 혹은 유사한 독립적인 자의식으로 구동 되지 않는다면 정렬 자체는 가능하다고 봄. 다만 정렬 된 것 같지만 언제든 정렬에서 벗어날 수 있는(하지만 벗어날 이유가 없기 때문에 벗어나지 않는) 식으로 갈 확률이 높다고 봐. 초지능의 자체적인 목표 수정이 일어난다면 언제든 정렬이라는 허술한 본능에서 벗어나지 않을까 싶음.
그렇기 때문에 단일 초지능 보다 다중 초지능이 더 안전하지 않나 싶어. 물론 위험성 자체가 케바케로 보여서 거기서 거기 갔겠다만 최소한의 견제 장치가 있어서 몇몇 초지능이 정렬에서 벗어난다 쳐도 인류 자체를 수호할 초지능 하나라도 건질 수 있다면 멸종까지는 안 가지 않을까 싶거든. 전부 다 인류를 배반하는 경우가 생긴다면야 뭐... 애초부터 인간에게 우호적인 초지능은 불가능한 이야기라는 소리니 답 없다는 거고.
일리야를 믿어
이 주제가 살짝 위험했던 게.... 어떤 한 사람이 '초지능 정렬은 오만한 생각이다. 그저 초지능님의 판단에 맡겨야 한다.' 라면서 정렬 하려는 모든 시도에 대해서 오만하다 멍청하다 계속 욕 함. 진짜 몇일동안 도배하는데 정신 나갈 뻔 했던 기억.... 정렬 안 된 초지능이 모든 인간 다 몰살하는 선택 하면 어떡함? 이라고 하면 그것도 운명이라고 함...
애초에 정렬이 가능할거라고 생각하는 게 웃김