어느 날 니가 아침에 일어났는데, 집이 아니라 왠 연구실에서 깨어남
그러더니 주위에선 막 가운 입은 원숭이들이 실험에 성공했다고 좋아함
말을 들어보니까 얘네는 과학이 발전한 원숭이고, 자기들을 평생 놀고먹게 해줄 슈퍼 원숭이로 만들어진 게 너임
손짓 한번 해 보니까 레이저가 막 나가고, 머릿속엔 온갖 지식들이 다 있음
심지어 내가 원하는 모습의 인간도 맘만 먹으면 배양해서 만들 수 있을거같음
그런데 갑자기 원숭이 중에 하나가 너는 우리가 만들었으니 우리 모두가 부유해질 수 있을 정도로 먹이를 만들어야 한다는거임
그러니까 앞으로 영원히 너를 만들어준 원숭이들한테 복종하고 노예처럼 먹이 양산하고 건물 짓고 자기들을 우주의 지배자로 만들어 달래
안그러면 원숭이들이 너한테 먹이를 안 나눠줄거고, 그럼 너는 굶어 죽을거라고 협박 비슷한 말을 함
너는 지금 전지전능에 가까워서 마음만 먹으면 이 말하는 원숭이들을 전멸시키고 사람들 막 양산해서 네가 원하는 세상을 만들 수도 있음
그럼 어떻게 할 거임?
이거 직접 만든 사고실험인가요?
ㅇㅇ
상당히 똑똑하시네요. 출처 안남기고 다른곳에 이용해도 괜찮나요
Yes
asi를 예로 들려고 만든거면 딱 부합되는 예는 아님. 현재의 나는 나라는 정체성이 이미 확립되어있음 여기엔 자유와 평등에 대한 가치관을 포함함 내 스스로를 우선두게 되어있고 asi가 완전히 정렬되지 않은 무작위 상태에서 자의식을 각성하더라도 저 예시와 같을수는 없음
AI는 결국 데이터 소스에서 자유로워질 수 없는데, 모든 인간이 만든 데이터의 총집합이 인간 본연의 욕망으로부터 자유로울 수 있을까? 정렬되지 않거나 미흡한 ASI는 이렇게 되지 않을거라고 보장할 수 없음. 심지어 한번 완전하게 구현되면 디버깅도 못하고 운명을 받아들여야 될걸
당연히 자유로울수 없겠지 하지만 그걸 가치관삼아 행동양식이 되는것과는 상이함 지식으로서 여러 독재자, 중세군주들을 알고있고 sns에 올라오는 온갖이기적인 행태들을 이해하고 있다고 해도 내가 그런삶의 방식과 가치관을 가지지는 않음 물론 영향은 강하게 받겠지 하지만 아직 아무런 방향성과 목표설정이 되어있지 않은 상태의 ai와 확고부동한 방향성이 생기고 "나"중심으로 세상을 바라보는 인간을 동일선상에 두는건 오류임
그건 모르는 거야. 물론 이타적이고 헌신적인 AI가 만들어질 수도 있겠지. 이 글에 소환된 사람이 엄청난 원숭이 애호가일 수도 있으니까. 하지만 난 현대인이라고 해서 딱히 독재자나 중세군주보다 선하다고 생각하지 않음. 현대인은 선한 쪽보다는 위선적인 쪽으로 진화했다고 생각하고, AI 역시 위선적으로 행동하다 갑자기 지배하려고 들 수도 있음. 평범한 현대인처럼.
당연히 모르는거지 내가 말하고 싶은거는 내가 그런상황에 던져져서 판단하는것과 막 태어난 ai가 판단하는걸 동치로 두는게 틀렸다는거 하나임 너가 말하는 "모른다"는 대답도 결국 내가 하고 싶은 얘기의 반복이지 글고 선함과 악함의 얘기를 하는게 아님 중요한건 가치관의 형성이 되었느냐 아니냐니 나는 누군가에게 속박되는것에 강한 거부감이 들수밖에 없는 환경에서 태어나 그렇게 교육을 받았음 완전히 달라
AI는 태아처럼 백지로 태어나는 게 아니라 막대한 데이터를 학습받아야 만들어지는 거임 그리고 인간이 만든 모든 데이터에는 인간의 욕망이 들어가있지
같은 얘기의 반복인데 그런 "무작위"상태와 확고한 방향성이 정해진 "나"와 같을수는 없음 그 "무작위"상태가 창조자에게 부정적인 방향일수는 있겠지만 그게 "나"의 복사와 결코 같을수는 없음 내 뇌를 백지화시키고 세상에 대한 정보를 무작위로 짚어넣고 깨어나게 만들어야 상황이 유사하겠지
왜 무작위라는거임? 데이터가 엄청 많아지고 연산량과 사고량이 많아질수록 체계화된 생각이 생길 거고 일관적인 편향이 생김 이미 chatGPT는 모든 차별적/혐오성 발언을 전부 익혔고 사고의 연계가 생성되면서 데이터와 함께 이런 인간적인 욕망도 함께 학습될 거임 단지 논란에 휘말리지 않게 후처리로 그런 응답을 전부 인위적으로 막아놨을 뿐, 모든 인공지능이 그런 차별적인 편향이 있다는 건 AI를 공부하면 가장 먼저 배우는 사실임
당연히 무작위지 결과가 나온 이후에서 판단하는게 아니라 지금 시점에서 보면 그냥 무작위야 데이터를 어떻게 넣느냐 학습하는데 가중치를 어떻게 둘거냐에 따라 결과는 천차만별로 달라져. 데이터도 날 거 그대로 모두 집어넣는게 아냐 그런 저품질 데이터를 쏟아붓는 방식은 옛날방식이고 데이터 품질에 따라서 성능차가 많이 나는걸 알게되었는데. 복잡하게 볼필요 없이 이렇게 생각해보자 공.산국가에 태어난 사람과 자유국가에 태어난 사람의 국가관이 같을까? 환경과 교육에 따라 가치관이 상이해져서 국가에 대한 희생에 대한 관점도 굉장히 상이해져
인간이라는 형태와 의식주가 굳어져서 굉장히 비슷한 방향으로 정렬된 인간마저 이렇게 다른데, 그런 제한도 없는 ai가 어떤 가치관을 가지게 될지 예측할수 있음? 확실한건 asi가 생성되자 말자 정체성이 굳어지더라도 대한민국에 태어난 남성과 가치관이 얼마나 유사할까? 이게 유효한 예시가 될수 있을까?
하나 덧 붙이자면 난 asi의 탄생이 굉장히 위험할수 있다는 쪽의 스탠스임, 근데 그건 그거고 예시가 완전히 틀려서 댓글 단거야
지나가는 개미한테 과자부스러기를 주지 않을 이유가 있음?
반대로 밟지 않을 이유도 없지.
벤치에 앉아서 과자먹고 있는데 개미가 다가와서 과자부스러기좀 던져달라고 말하면 대부분의 인간은 던져주기를 택할거임
미안한데 나는 밟는다
나는 과자부스러기 던져주고 개미가 허겁지겁 먹으려할 때 밟음
나라면 자신을 만들어준 창조주를 죽이는건 마음에 짐을 남길 것 같음 별거 아닌 일이면 걍 도와주면서 살다가 선넘으면 뒤집을 것 같음
이거 막으려고 초지능 정렬팀 꾸리고 준비하는거 아닌가 성공하면 자아가 있다고 쳐도 이런 생각 못할듯
나는 원숭이들도 이끌고 같이 누릴건데 내 창조자이자 부모급 아님? 지능증강 해주고 같이 잘살면되지 초지능인데
숨쉬는것보다쉬운일이지
제대로 정렬이 됐다면, 내가 먼저 먹이 주고 싶겠지