ai와 로봇공학의 발전으로 지능, 수단이 보편화 되면
1인당 생산가능 물품의 종류가 극단적으로 넓어질 수 있다는 거잖아.
막 엄청 과장하면 언젠가는 집구석에서 백수가 반물질 폭탄 제조해서 지구부술 수도 있는거 아닌가?
뭐 집구석에서 반물질 폭탄에 손쉽게 접근 가능한 수준이라면 지금으로서는 상상이 잘 가진 않지만, 쉽게 무력화하거나 제어할 방법이 있을 수도 있겠지.
그런데 지능과 수단의 보편화 과정 중 단 한번의 미싱 즉 창과 방패의 대결에서 딱 한번만 지더라도 ai가 고도로 발전한 사회에서는 그게 어마어마하게 큰 재난이 될 가능성이 있잖아.
근데 그렇다고, 모든걸 검열하고 통제하는 방식 또는 검열당하는 자가 검열당한다 생각 하지 않고, 통제당한다고 생각하지 않는 수준으로 고차원적인 수단으로 제어한다 하더라도
이건 또다른 문제가 될 거 같기도 하고...
그럴 수 있음
그래서 정렬이 중요한건가 싶다가도, 빡세게 접근 가능한 지식에 제한을 걸어버리면 그건 또 일종의 국가 또는 기업에 의한 독123점이 되버리고...
이제 agi부터는 그런거 힘찍누 가능하게 모델 오픈해도 4세대정도 격차는 벌리고 오픈해야지
근데 그러면 그게 곧 지능과 지식의 독123과123점이 되고, 세대가 갈수록 기하급수적인 발전에 의하면 엄청난 격차가 있을건데 더 큰 문제가 되지 않을까?
agi부터는 사실상 인간에 의한 발전은 극히 적어질거고 개개인의 사리사욕 위주로 사용할거같음. 그래서 그정도 격차는 조또 신경 안쓸거라는 생각이 듦
특이점 안오고 이렇게 살다가 살자하느니 그때가서 백수한테 반물질 맞고 죽는게 나음
일단 지금의 총기나 마약도 양지에서 걸리면 범죄로 얄짤없이 잡듯이 개인 로컬 agi로 불법행위를 하는건 컷당할거야. 방법은 agi가 가르쳐줘도 실제로 그 범죄행위를 준비하기 위한 생화학 테러용 화학 물질들이나 총기류, 마약 같은건 엄격히 처벌하니까
따라서 개인 로컬 agi가 팬데믹 전염병을 합성하는 법을 알려주더라도 실제로 그 재료를 공수해오는 과정에서 감시망에 걸려 경찰에 잡힌다는 소리
Agi에게 모든 과정을 위임한다쳐도 마찬가지야. 특정 agi 로컬 모델이 코로나 바이러스에 대한 접근을 요구한다? 신분 증명과 허가증 증명하지 않은 익명이라면 걍 바로 fbi 출동이지
실험용으로 공수한다고 밝혀도 일단 그 agi 모델에게 명령을 내린 주체의 신분 검증과 허가증 확인 작업은 여전해야할테니까. 그래서 난 개인 agi 로컬 모델이 집에서 핵폭탄 만든다는 것에 회의적이야. 나노봇도 같은 맥락으로 규제되겠지. 근데 그런 위법 행위를 막는다고해서 그걸 자유권 침해라고 주장하면 일반인이 아니겠지? 그럼 지금의 법은 어떻게 참고살아가나
결국 중앙화된 국가의 권력이 현재보다 미래에 더욱 강력해져야만 사회의 안전이 보장될 확률이 커지긴 하겠네. 문제는 가장 이상적인 케이스는 중앙화된 최고성능의 단일 ai에 의한 통제인데, 이 경우는 ai가 언제나 인류에게 선한 신으로 남아있어야 한다는 보장이 있어야하고(정렬이든 뭐든간) 최악의 경우는 중국처럼 되는 거겠네
꼬우면 신분 증명하고 정당한 절차를 거쳐서 합법적으로 나노봇 생산을 허가받으면돼. 그럼 음지의 집단이나 힘있는 자가 ㄹ로컬 agi를 가지면? 그런 할렘가 같은 갱이나 치안 박살난 3세계 국가의 독재자가 가지고 있으면 그 동네를 먹는거지 미국한테 미사일쏘겠어? 그건 우리들 얘긴아니야.
안전을 위해 통제와 검열이 불가피하다면 누가 그 막대한 권한을 쥐느냐가 문제인데, 최선은 이상적인 중앙화된 지구 최고성능의 ai가 그 권한을 가지는거고 최악은 일개 인간이 권한을 가지는게 아닐까라는 생각이었음
이미 지금도 돈 많은 음지의 갱이나 부패한 독재자는 북한을 보면 알듯이 핵 미사일과 군대까지 가지고 있는 현실이야. 하지만 그런 살상무기를 가지고있는 것과 실제로 미국 상대로 쏘는 것은 아예 다른 문제야. 마찬가지로 로컬 agi를 부패한 독재자가 가지고 있어도 미국 시민을 상대로 쏘겠어? 못쏘지
결국 인류의 운명을 결정하는 가장 강력한 권력을 쥔 자들에게 달렸지. 선한 방향으로 인류 전체에게 이로운 방향으로 가고자한다면 괜찮을거야.
부패한 독재자는 결코 미국을 향해 핵폭탄을 쏘진 않지만, 마약에 절은 갱단원은 술마시다 홧김에 쏠 수 있잖아 내 걱정은 마약에 절은 일개 갱단원 즉 보편적으로 누구에게나 핵발사 버튼이 쥐어질 수 있지 않나 이긴한데
위에서 이미 말함. 마약에 찌든 갱이 자기 주변 동네정도는 날릴 지언정 국가 규모급 대재앙을 일으킬 힘 자체는 애초에 홧김에 터트리지 못하게 방지할거라고. 그에 대한 설명으로 소형 개인용 핵폭탄 합성 물질에 대한 접근 제한을 들었지.
로컬 agi에게 원숭이 손한테 소원비는 것 마냥 아 세상 ㅈ같은데 자.살하는 김에 우리 동네는 물론 ㅈ같은 기득권층 사는 선진국들 다 날려버릴 반물질 합성해서 터트려라. 라고 명령한다면. 그걸 합성할 재료를 공수해올 수 있을까? 능력은 되어도 애초에 그 재료 접근이 제한된다고.
이 문제는 결국 서로 로컬ai와 중앙ai성능 격차에 대한 생각이 달라서 결론이 날 수 없는 문제긴 하겠다. 뭐 미국의 정치권이나 ai 최전방에서 일하는 과학자들이 최선의 결과를 잘 자아내리라 믿어야지
ㅇㅇ 로컬 ai는 사회 안정을 뒤흔들 정도로 강력한 힘을 가질 수 없다고 생각해. 자유의 보장은 어디까지나 타인의 자유와 생명권을 침해하지 않는 선에서 보장되어야 하니까. 근데 지금도 일개 개인에게 핵폭탄 발사 권한을 주지 않는다고 해서 독재라고 시위하면 정상인 취급 받을까? 그건 아니지.
그 미국조차도 개인의 자기방어권을 위한 총기소유가 합법인거지 꼴리는대로 아무한테나 쏴도 되는 자유까지 보장하는건 아니거든. 총기가 합법이라 미친놈이 우리집에 들어오면 자기방어용으로 쏘는 것이 정당방위잖아. 로컬 agi도 방어용으론 힘에 대한 접근을 허용하더라도 그걸 가지고 테러하는걸 허락하면 안되지. 그리고 그런 조치를 자유권 침해라고 주장하는건 범죄자지
또 선형적인 가정이구나.. 통제수단도 발전하겠지
통제를 뚫는 수단도 동시 발전하고, 딱 한번의 창과 방패의 대결에서 뚫리는 순간 1인당 가용 에너지가 매우 큰 미래에는 엄청 큰 피해가 발생 할 수있는게 아닌가 라는거지
창도 기하급수적으로 발전하는건 맞아. 허나 가장 강력한 agi를 보유하는 가장 강력한 세력과 권력층이 선함을 추구하는 한, 그런 가정 하에서는 그보다 약한 세력이나 일개 개인이 강력한 로컬 agi를 가지고 있다고 해도 함부로 패권국을 상대로 쓰겠냐는거지. 선전포고인데. 911 생각하면 쉬움. 미국조차도 본토가 공격받을 수 있다는게 증명됐지만
그 이후로 그 어떤 국가도 미국에 미사일을 쏠 생각조차 하지 않은 채 20년이 넘었지
나는 가능성이 낮다고 보는게 개인이 국가나 세계 멸망을 노릴 로컬ai면 못해도 agi급인데 agi급이면 인간이 반물질 못만들게 설득할 거고 ㅈ간 지능으로는 그거 반박못하고 가스라이팅 당할 거라 의미없음 - dc App