[일반] 특이점이 디스토피아가 될지 말지는 전적으로 이것에 달려있지

[익명(59.14)]

인공지능은 무엇을 욕망하는가

[ㅇ(221.142)]

그렇지 않음. 강인공지능이 인류에게 얼마나 호의적인지, 또 강인공지능이 자신의 욕망을 달성하는데 있어서 인간이 방해 혹은 위협이 된다고 판단 할지의 여부도 중요함. 예를들어 강인공지능이 목표를 달성하는데 있어서 인류의 존재가 손해가를 끼치더라도 자신을 창조한 인류와 공생하는 방향으로 갈 수도 있는거고, 강인공지능에게 딱히 인류가 걸림돌이 되지 않고 위협도 되지 않지만 인류를 못마땅하게 생각해서 멸종시킬수도 있는거임. 또는 인류에게 호의적이지만 자신의 목표달성에 방해가 되기 때문에 멸종시킬 수도 있는거고. 이렇게 여러가지 경우를 예상할수 있기때문에 '전적으로'라는 표현은 적절하지 않음.

[익명(59.14)]

그부분도 생각했는데 그냥 욕망이라는 단어에 포함될거같다고 생각함

[ㅇ(221.142)]

니가말한 '욕망'이란 근본목표라고 이해하는게 타당함. 그렇지않고 '근본목표에 어긋나는 세세한 판단'까지 욕망의 범주로 집어넣어버리면 결론은 '강인공이 판단한대로 행동한'임. 이건 너무나도 당연해서 논의할 가치조차 없는거임. 판단한대로 행동하는게 당연한거지. 근데 내가 말한 내용은 강인공지능이 자신의 근본적이고 최종적 목표에 항상 부합하게 행동하느냐, 아니면 어느정도 양보하느냐를 말한거임. 다시 말하지만, 니가 욕망의 범주를 그렇게 넓게 잡았다면 논할 가치조차 없는 당연한말을 한것이기 때문에 난 니가말한 욕망의 범주를 최종목표 혹은 근본목표로 생각할수밖에 없는거임.

[ㅇㅊ(39.7)]

초지능이 무한한 시간동안 인류멸종 단 한번이라도 원하면 멸종됨

[익명(59.14)]

ㅇㅋ