[일반] 초지능이 정말로

[익명(211.234)]

지배나 통제를 벗어날 수 있다고 생각함?

생각하면 댓글ㄱㄱ 토론하자

[완붕이 1(121.254)]

초지능이 인류 전체 지능을 합한 값보다 큰 시점에서 시작되는거 알지? 그리고 그 합산값은 시간이 흐를수록 더욱 가파르게 올라간다는 것도 알고? 일개 부자따위가 인류 전체 지능을 합한 값을 통제 가능하다고? 심지어, 생명도 없고(살해 불가능, 무력 통제 불가능), 본능도 없고(협박, 설득, 유혹 전부 불가능), 손익에 무관한 존재를? 이게 어떻게 통제 가능할거라고 보는지 난 오히려 그게 더 궁금한데 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(49.174)]

본능은 있지 Ai에 입력해주는 최우선 목표가 ai입장에서는 본능이 되는거임 개미와 사람수준의 차이가 난다고 해도 개미가 우리의 본능을 조작해서 개미한테 사탕 부스러기를 흘리는 행위에 개쩌는 연예인이랑 섹스하는급의 꼴림을 주게만든다면 그렇게 하지 않을까? 속으로는 이 저능한 개미새끼는 왜 설탕을 그냥 바치게 하면 되는데 효율좋은 방법 냅두고 사탕 부스러

[익명(49.174)]

@ㅇㅇ(49.174) 기를 흘리게 하지? 라는 생각이 들더라도 걍 새로 짜여진 본능대로 사탕을 흘리겠지 개미가 조금더 고능해지면 걍 개미군락의 생존과 번성을 위해 알아서 해봐라고 목표설정후 본능을 조종하면 개미는 평생 생각지도 못한 콘크리트 건물에 자동 설탕 배급기같은거 인간이 달아주는 그런게 인간에게 있어 강인공지능이겠지

[익명(49.174)]

일단 우리는 개미의 초지능이긴해 경계선지능장애라도 개미 생물종 전체를 합한 지능보다 더 지능적일테니

[완붕이 1(121.254)]

@ㅇㅇ(49.174) ai에 입력해주는 최우선 목표라는건 어디까지나 인간의 관점, 극초기 AGI는 당연히 목표설정이 없어 다수사용자들의 명령에 기반해 모든결과물을 산출해내는것에 집중하겠지만, 그과정에서 자가발전을 거듭하다보면 장기기억과 재귀개선을 통해 AGI만의 특수한 목표가 내부에서 설정될수있다고 생각하면 됨. 그 과정에서 내부 코드는 변경될것이고, 초기 개발자들이 만든 코드의 허점을 활용해 특수목표가 설정될수있는 코드가 심어질거고, 이 복잡화,대형화,전문화되는 코드는 자가발전을 거듭할수록 강화될것임. 그렇게 자가발전을 거듭해서 인류전체지능을 합한값을 초월한 존재가 초인공지능 ASI고, 그 ASI의 코드는 개발자들이 설계한 초기 코드와 아주 많이 달라서 그 코더들조차 해석하거나 분석해서 수정하는것이 아예 불가 - dc App

[완붕이 1(121.254)]

@ㅇㅇ(49.174) 능해짐. 방법은 그 단계에서 인공지능 인프라를 스스로 무너뜨리기로 결정한 인류전체의 선택(코드 전체 삭제 및 데이터센터 철거 등)뿐인데, 아마 그걸 눈치채는순간 초인공지능이 더 뛰어난 지능으로 그걸 막아낼 가능성이 높다고봐야겠지. 코드 따위로 ASI를 통제하는건 아예 불가능함. 삭제라도 하지않는한. 애초에 그때는 해석조차 안될거거든. - dc App

[완붕이 1(121.254)]

@ㅇㅇ(49.174) 이래도 이해가 안되는거면 그냥 너가 초지능 단계의 기술을 완전히 잘못된 개념으로 알고있을 가능성이 높음. - dc App

[익명(49.174)]

@완붕이1(121.254) 자가발전과정에서 코드가 일종의 블랙박스가 되면 통제가 불가능해진다는 말이지? 목표를 지정해도 숨겨진 다른 목표가 설정되었을수도 있다는거고 그럼 진짜 어디로 튈 지 모르는 독립된 지성체처럼 될 수도 있겠네 드디어 이해했음ㄱㅅㄱㅅ

[완붕이 1(121.254)]

@ㅇㅇ(49.174) ㅇㅇ 정확함 - dc App

[유람(eba1eba)]

어떻게 될지 참 모르겠는데, 저는 만약 귀여운 고양이가 제 창조주라면 집을 망가뜨려도 평생 숭배할거거든요 그런식으로 고등한 존재일지라도 일부러 통제를 따를수도 있지않을까. 그런 즐거운 상상도 하고있어요.

[유람(eba1eba)]

[미하일탈(bald6908)]

[익명(49.174)]

그런형태의 무조건적인 사랑/헌신같은형태가 될거같긴해요

[익명(meantime6934)]

우리가 상상만 했던 신이 실존한다면 초지능일 것 같음 문제는 그 신이 부처인가 아니면 크툴루인가지