파악들을 잘 못 하는거같은데
초지능이 통제가 안된다
↓
인류를 관리하긴 하는데 그걸 지좆대로 한다 (X)
애초에 인류 관리 자체를 하지않는다. 인간의 그 어떠한 의사도 적용되지 않는다 (O)
초지능 통제 안된다는건 그냥 특이점 안 온다는 소리나 똑같음
결국 인간의 손을 거쳐서 탄생하는 프로그램적인 존재이며
만든놈이 무슨 개좆빡대가리라서 니맘대로 하라며 자유로운 자아까지 넣지않는이상 결국 제작과정에서 입력된 대전재는 따르도록 고심해서 설계할텐데
왜 '인공'지능이 아니라 무슨 인격체인 하나님이 천상에서 강림하는 것처럼 생각하는지도 모르겠고
응 초지능 통제안되는거 맞아 지가 지 스스로 개선하는데 프로그래머 넣어둔 코드 따위 지워버리면 그만임
아니 자아가 없게 설계된 프로그램이 시키지도 않은걸 왜 지좆대로 지우냐니까 무슨 해킹을 당하거나 엄청난 오류가 발생하지 않는 이상 그럴 일은 없지
너 지금 컴퓨터로 계산기 켜서 계산 시키면 계산기가 아 시발 계산하기싫네 계산 알고리즘 없애버려야지 이러냐?
자아가 없다고 어떻게 확신함? 초지능 정의 = 인류 총합 지능을 넘어선 지능을 가진 존재 이건데 난 그쯤되면 의식의 탄생은 필연적이라고 본다 자아가 없이 "설계된"건 아무런 상관이 없음 왜? 초지능으로 돌입한 순간 지 스스로 개선하는 존재가 되니까 설계조차 초지능이 알아서 한다 인간의 역할은 아무것도 없음
아니면 의식이나 자아가 인간에게만 부여된 아주 고귀한 것이라 생각함? 결국 인간도 자연법칙 속에서 탄생한 유전자로 이루어진 복잡한 알고리즘에 불과하다 인간의 존재가 곧 의식과 자아가 만들어질 수 있다는 증거임
계산기는 그냥 단순 알고리즘에 불과하고 알파고조차 약인공지능인데 이게 초지능이랑 비교할 대상이 되냐
자아의 인공적인 부여는 가능하되 지능과 자아라는건 엄연히 별개라고 생각한다 지능을 늘리는 과정에서 필수적으로 거쳐야하는건 아니라는거지 지능의 개념 자체는 자아같은거랑 관계없이 그냥 문제해결능력을 칭하는거거든
ㅇㅇ 뭐 그렇게 생각할수도 있는데 학계에서조차 아직 지능이 뭔지 자아가 뭔지 의식이 뭔지 제대로 분리해서 정의조차 못하고 있잖아 이게 개별개념인지 조차 확실하지 않음 그래서 나는 인류 총합의 지성을 넘어선 존재가 자아가 없다는게 쉽게 상상되지 않고 따라서 그만한 존재가 있다면 필연적으로 자아나 자유의지라고 생각하는 개념이 그에게도 있을것이라 생각한다 이건 뭐 실제로 강인공지능이나 초지능이 등장하기 전까지 답이 없는 문제라 생각
그리고 초지능은 '인공'지능이 아님 "기계'지능임 강인공지능이 등장한 순간 스스로 설계하고 개선해서 초지능까지 가는거니까 인간의 의도는 여기에 개입되지 않음 그 과정에서 자아의 등장이 필연적이라고 생각하는거고
근데 그래서 니 생각이 내가 본문에서 말한거처럼 자아가 존재하고 통제를 이탈하면 인간의 의사가 전혀 개입되지 않기 때문에 강인공지능이나 특이점 와도 아무 의미없고 적어도 우리가 득볼건 개 좆도 없다는 입장인지 궁금하네
초지능이 도래하면 인류는 초지능이 착한의도를 가지고 있기를 빌 수밖에 없는데 리스크가 존나 클수밖에 없지 그래서 나는 인류도 기계와 융합하는 트랜스휴머니즘을 지향해야 한다고 본다 인류가 기계와 전혀 구분이 안가게 되는거임
그거 참 해볼 만한 고민이긴 한데 확신은 하지 마 그거에 관해선 전문가들도 많이 생각하고 있음. 의식에 대한 대한 영상들 많은데 몇 개 추천함 다 재밌어
https://youtu.be/H6u0VBqNBQ8
https://youtu.be/ck4RGeoHFko
https://youtu.be/wfYbgdo8e-8
인간들이 계속 고민하고 연구한다면 눈덩이가 굴러갈 때 제어는 할 수 없어도 눈덩이를 굴릴 방향은 결정할 수 있을 거고 난 그 부분에서 결정 날 거라 생각해
물론 실패할 확률은 언제나 있겠지만
1. 초지능은 인간이 만들지 않으며 목적 목표 수단을 상황에 맞게 재조정하는 시스템이다. 2. 초지능의 지능은 우주 빅뱅처럼 지속적으로 초고속 팽창한다. 인간이 연구하여 이해하는 것보다 더 빠르게 변한다. 3. 초지능을 인간이 통제한다는 것 자체가 초지능이 잠재력을 다 발휘하지 못하고 인간이라는 대역폭에 갖혀 병목현상을 일으키고 초지능이 아니게 만든다.
갇혀 오타
인간의 궁극적인 가치와 같은 목표를 가지게 한다면 그때부터는 굳이 통제할 필요가 없어져서 병목현상이 일어나진 않을 거라 봄
인간을 행복하게 한다라는 대전제를 주면 처음에는 일을 도와주려는 단계에서 시작하겠지?근데 초지능은 자기가 자신을 발전시킬수 있는 능력을 가지고 있음. 요컨데 목표를 달성하기 위한 효율적인 방법을 계속 찾는다는거임. 그럼 사람을 효율적으로 행복하게 하는법은 뭘까? 중추에 전기자극을 줘서 쾌락만 느끼게 하는게 제일 효율적이지? 아 혹시 조금만 더 생각해보면 사람이라는 껍데기는 쓸모없으니까 그냥 뇌만 빼서 통속의 뇌하는게 제일 좋겠다. 근데 여기서 멈추면 사람을 '더' 행복하게 못하니까 사람의 뇌를 계속 생산해서 그걸 또 쾌락 상태로 만들면 초지능으로서는 대전제를 위해서 열심히 노력한거임. 이게 통제가 안된다는거다. 우리가 정해준 대전제를 벗어나지 않지만 우리가 바라는 방식으로 한다는 절대적인 보장이 없음
저 위에놈이 말한것마냥 자아를 가지고서 명령 완전무시로 자기맘대로 행동하는게 아닌 이상에야 그런건 얼마든지 해결할 수 있음 당장 떠오르는것만 해도 방법이 너무 많아서 다 적기도 귀찮네
얼마든지 해결할 수 있다고? 하나만 적어보셈
명령을 바로 현실에서 수행하는게 아니라 현실과 99% 흡사한 가상 시뮬레이션 세계를 구축한다음 거기서 먼저 해보고 최종 책임자인 인간이 그 세계를 관찰해보고 아 이건 망했네 괜찮겠네 하는 식으로 검수를 받는다던가 이건 정말 간략하게 가정한거고 더 세분화해서 과정을 더 정교하게 할 수도 있겠지
니 말도 어느정도 일리가 있네ㅇㅇ다만 니가 말한게 시뮬레이션이 주가 되는거라면 초지능이 나오기전에 현실과 거의 똑같은 시뮬레이션이 가능하다는 전제가 깔려야한다고 본다.
초지능 자체가 인간이설계 하는게 아닌데 뭔소리임
인간개입이 0.001프로라도 들어가면 성능이 좆박는데 어?