주장1: 서민들 완몰가 안 주면 폭동난다고 하는데
의식주 안 주는 국가도 폭동 어찌저찌 막으면서 존립은 하고 있음
앞으로 개인에 비해 집단의 힘이 더 세진다
옛날에는 산에 숨어 살면 무법자로 살 수 있었는데
요즘은 그냥 며칠 후에 잡힘...
갈수록 자유로운 사회에 살 수 있는 이유 = 더 적은 구속으로 통제가 가능하기 때문
주장2: 완몰가 주는 것이 학살보다 안전함
완몰가 쓰는 동안 계속 살아있음. 결국 영생 요구할것임.
-> 낮은 위협을 계속 걱정하고 살래 아니면...
완몰가 주지 말고 다 죽임
-> 잠깐만 위험 감수하면 영원히 리스크 0임. 지금 안 죽이면 누군가 대항하는 법을 찾아낼 수 있음 (비대칭무기 등)
폭동 막는 방법
1) 폭동진압봇 제조
2) 기업 간 거래 (AI기업이 소프트웨어 공급, 로봇기업이 하드웨어 공급)
서민층이 없어도 수요는 충분함 ㅎ
3) 완락사 (완몰가를 일단 준 다음 충분한 인구가 동시에 접속하면 뇌를 녹여버림)
주장3: 어차피 ASI 나오면 기득권도 개미일 뿐이다
이게 그나마 신빙성 있긴 함 그런데
기득권한테 위협이다 = ASI한테도 위협일 가능성이 크다
1) 기득권이 트랜스휴머니즘으로 ASI 통제하거나 융합하는 시나리오
2) 기득권이 정렬 성공해서 ASI 통제하는 시나리오
3) 정렬 결국에 실패하더라도 과도기까지는 복종하는 시나리오
그래서 결론은 항상 "과도기 잘 버텨라 ㅅㄱ"인데
특갤 성향상 각자도생일 가능성이 높다
지금 특갤 안에서도 계속 스펙 쌓고 AI 현업 업무 자동화 하는 계층과
그냥 특이점기술 줘~ 벤치마크 줘~ 하면서 쉬었음 하는 두 계층이 있음
그런데 후자가 전자를 마치 특이점시대를 이끄는 엘리트 취급하는 거 보면 좀 안타까움
과도기 때 그들은 기득권이 되고 싶어하지 사실 아무런 도움을 주지 않을 텐데
그런 고민이 있구나 나와 비슷한 고민을 하고 있는 것 같네 여기서 내가 하고 싶은 말은 미래가 어떻게 될 것 같냐기보다는 지금 현재 그리고 가까운 미래에는 어떤 생각으로 사는 것이 좋을지에 대한 거야
나는 여기서 가장 추천하는게 카뮈가 말한 시지프의 정신이야 시시포스는 신에게 엿을 많이 날렸고 그 죄로 언덕 꼭대기까지 영원히 돌을 올려야 하는 형벌을 받았지 보통 이 이야기를 들으면 신에게 까불면 안되겠다 라는 생각을 하겠지만 카뮈는 다른 해석을 했어
시나리오에 따라 다를 듯... 1) ASI는 후발 ASI를 무조건 멸망시킬 수 있는가 아님 2) ASI 간 힘의 균형이 가능한가 (비대칭무기, 상호확증파괴) 1번이면 개인적으로 우주산업 현업자가 되거나 돈을 많이 벌어서 지구를 최대한 일찍 벗어나는 게 좋을 거고 2번이면 트랜스휴머니즘 바이오산업에 종사해서 본인 지능증강해서 ASI수준이 직접 되어야할것임
시시포스가 신에게 엿을 많이 날릴 정도로 교활했는데 카뮈는 그 점에 주목했어 즉 시시포스는 그 형벌을 받으면서까지 신에게 엿을 날려주고 싶었던 거야 그러면 어떻게 거기서 신에게 엿을 날릴 수 있냐면
시시포스에 관해서는 회의감이 있음 "영원히" "무한히"라는 단어는 아직 어떤 인간도 경험해보지 못했는데 결론을 내리기 어려운 거 같음 이를테면 5만 년 정도까지는 버텼는데 그 다음부터 후회하면 어쩔지 모르겠고 후회할 확률이 0.00001%여도 무한한 시간동안 연장되면 후회하는게 확정일거같음
아 미래에 어떤 시나리오가 될지 대화하고 싶어서 게시글을 올린 것 같네ㅋㅋ 난 뭔가 개인, 사람이 정말로 무의미해질 시대에서 그리고 사람이 굉장히 무력해질 시대에서 어떤 생각으로 살면 좋을지 관심 있어하는 줄 알았는데
사람 인생이 끽해야 100년이니 몇만년을 살게 된다면 어떻게 될지는 모르겠지 그런데 너가 말한 시나리오는 주로 디스토피아적인 얘기인 것 같은데 이 시나리오가 사실이라면 구태어 기득권층이 우리에게 수명을 연장하는 선택지를 줄 것 같지는 않은데 말이야
@완붕이1(122.46) 이건 그냥 존립의 문제인거 같아서 그럼 내가 철학을 싫어하는 건 아님... 단지 내가 소멸하거나 고통당하면 철학은 안중에 없을거라는 것을 스스로 인정하고 있기 때문임
@완붕이1(122.46) 맞음 그래서 디스토피아에서 탈출할 수 있는가가 나의 주요 관심사임. 공감이 쉬운 과도기를 예로 들었지만 특이점 이후 권력체계도 관심있음. 만약 고도의 물리학 기술을 통해 광속으로 확장하는 디스토피아 세계가 존재한다면 어떻게 대항할 수 있을까
정말 죽기 직전이라면 철학 같은 것도 의미가 없어지겠지 당장 살고 싶어서 아둥바둥 할 것 같긴해ㅋㅋ 그런데 여하튼 지금은 아니잖아? 그때는 그때가서 생각하면 될 것 같아 아직 일어나지 않을 일을 그리고 어쩌면 일어나지 않을 수도 있을 일로 걱정하는건 솔직히 소모적이고 불필요하다고 난 생각하거든
아하 순수하게 관심사가 그쪽에 있다는 거구나 그렇다면 나도 너가 말한 시나리오에 대해 진지하게 생각해야 될 것 같네 가능성이 없는 일은 아니니까 말이야
내 생각에는 가능할 수 있다면 최소한의 견제 장치가 우리에게 있는 것이 좋다고 봐 너가 말한 지능 증강이 대표적인 예시겠지 사실 완갤 보면 전뇌화에 대해 관심이 많은 갤러들도 있는데 이것도 그 견제 장치에 대한 일환일 수 있을 것 같아
@완붕이1(122.46) 수천년 전에는 도가사상처럼 그냥 조용히 쓸모없이 지내면 생존이 가능하다는 철학이 유행했지 그러나 80년 전 쓸모없다고 여겨진 이들은 우생학에 의한 학살을당했다 즉 대량학살 기술의 발전으로 인해 가만히 있는거만으로는 충분하지 않음. 나아가 현대 데이터와 인지전의 세계에서는 날 건드리면 가만있지 않겠다라는 인식을 끊임없이 줘야하는듯.
https://m.dcinside.com/board/fulldive/22952?page=2#comment_box
그
밖에도 여기 게시글 댓글 보면 미래의 권력 집단은 과연 어떻게 되는지 좀 더 알아볼 수 있을 것 같아
시대상이 정말 변하고 있기는 해 나도 확실히 동의하고 있는 것은 공권력은 왕정, 민주정 같은 정치 체계가 아닌 과학 기술의 발전으로 강해지고 있는 부분이니까 과학 기술의 발달을 하면 할수록 권력 집단이 우리 같은 개인에게 참견하고 강요하는 것이 더 쉬워지겠지
그래서 현재로서는 우리가 저항할 수 있는 유의미한 방법 중에 하나가 오픈 자유 소프트웨어 운동이야 만약에 너가 정말로 이 문제에 대해 관심이 있고 진지하다면 오픈 자유 소프트웨어를 지지하는 걸 추천해 오픈 자유 소프트웨어는 어느 특정 기술이 권력집단의 것이 아닌 모든 사람의 것이라는 철학에 기반하니꺼
@완붕이1(122.46) 제시한 글 언급해줘서 좋은듯 왜냐하면 사실 나도 그걸 읽었거든 전에... 그런데 아쉬웠던 점은 빅테크의 윤리 강요가 핵심이엇다는 점. 만약 구글이 지금 수준의 윤리를 유지한다면 구글 세계정복 솔직히 마다하지는 않을듯. 그런데 지금 윤리를 유지하는 이유가 착해서가 아니라 그냥 시장점유라는 걸 알면 신뢰할 수 없게 됨. 권력을 독차지하면 윤리 없어도 존속 가능
@완붕이1(122.46) 자유소프트웨어 운동이 지금까지 기술독점을 거부하는 사회적효과가 있었듯이 앞으로 가중치 외에도 훈련데이터 훈련방법이 공개된 AI, 사고과정이 드러나는 화이트박스AI 등을 기대하고 있음
물론 정말 안타깝게도 점점 시대는 사유 소프트웨어가 되고 있어 그거는 정말 너 말대로 기술이 특정 거대 기업이나 권력자의 것이 될 갸능성이 높거든 하지만 저항이라는 행위 자체는 매우 의미가 있는 거라고 생각하고 특히 오픈 자유 소프트웨어를 지지하는 사람들이 많아진다면 우리도 그 견제 수단을 지니게 될지도 몰라
아 그런데 너가 이 주제에 대해 정말 진지하게 생각하고 있었구나 난 단순한 걱정인줄 알고 카뮈 얘기 꺼냈는데ㅋㅋ 카뮈 얘기 꺼내서 미안하다
ㄴㄴ 걱정만 하고 살아갈 수 없긴하지 내가 AGI급 지능을 가졌으면 (인간 전문가 수준) 모를까 한낱 일반인 인간인데. 시대의 흐름을 거스를 수 없으면 갈 때 가더라도 깊게 사유한 인간의 삶은 분명 의미가 있엇었을 것이라고 본다
난 너가 말하는 "기득권"이 뭔지 도통 이해를 못하겠다. 완몰가를 누가 주고 말고, 사람들을 학살하고 말고. 마치 영화에서나 나올 법한 그림자 정부가 실존하는 양 말하는데 솔직히 너무 현실성 없음.
기득권 = 처음에는 기업체나 선진국 정부 수준이지만 ASI로 인해 모종의이유로 독재정권으로 변화한 개체. 그리고 ASI로는 그림자정부가 충분히 가능하고 인지전을 통해 "그림자정부는 영화에나 있다" 인식주입이 가능해짐
@글쓴 완붕이(223.38) 나는 개인적으로 인간은 ASI를 통제할 수 없다고 보는 입장이라 의견이 다를 수밖에 없겠네. 그래도 한가지 말해보자면, 지금 AGI조차 나오지 않은 시점에서도 세계 각국의 정부와 여러 기관들이 빅테크에 큰 관심을 두고 규제를 하느냐 마느냐로 혈안을 부리고 있잖아. 근데 ASI를 앞둔, AGI는 진즉 나왔을 시점에서 기업 혹은 특정 정부가 지능 폭발을 하도록 사람들이 가만히 내버려둘까? 나는 아니라고 보거든.
ASI이전: 과도기 AGI에이전트 운용 국가/기업이 최대위협 ASI이후: 국가/기업 주요직위자의 지능증강으로 기득권 핵심계층이 ASI 수준이 됨 or ASI 자체가 기득권이 됨 (이 경우 ASI가 모종의 이유로 국가/기업의 지시사항을 이행할수도 있고 거부할 수도 있지만 공통점은 자기 외의 모든 것을 통제하려고 시도할 것)
AI발전을 막는 규제가 있는 시나리오 1) 규제 없는 국가/기업이 결국 기술 추월함 2) 1번을 우려한 규제 있는 선두주자가 규제 다 풀어버림 3) 규제가 있음에도 불구하고 AI가 규제의 허점을 이용해서 ASI가 됨 (영화)
@글쓴 완붕이(223.38) 내가 말한 건 사람들이 AI 발전을 막을 것이라는 게 아니야. 정부와 기관들이 위협이 되는 기업들에 개입을 하고 AI에 대한 통제권을 나눠 갖는 방식 등으로 "견제"를 할 것이란 뜻이지. 당장 샘 알트만이나 하사비스가 OAI와 구글을 마음대로 할 수 없듯이 정부와 기관이 빅테크에 개입을 시작한 이후부터는 AI를 어떻게 할 것이냐에 대한 권한이 잘게 쪼개질 가능성이 높음. 즉 네가 말하는 "기득권"이 수도 없이 많아지는 거야. 그렇게 된다면 너가 말한 학살 시나리오는 불가능에 가까워져. 왜냐? 누구를 살리고 죽일지 선을 긋기가 상당히 애매해지거든.
@글쓴 완붕이(223.38) 또한 너는 통제 가능한 ASI를 꽤나 가능성 있게 보는 것 같은데, 이거 절대 쉽지 않아. 제프리 힌튼과 일리야는 ASI에게 인류에 대한 호감을 갖게 하는 것이 사실상 유일하다고 말할 정도니까. 애초에 현 시점에서 ASI를 달성하는데 가장 가능성 있는 방법이 재귀개선을 통한 지능 폭발이잖아. 수도 없이 아주 빠른 속도로 이뤄지는 재귀개선 사이에서 특정 소수만의 말을 완벽하게 듣도록 통제하는 게 쉬울까? AGI도 달성 못한 지금의 AI조차 완벽하게 정렬하지 못하는데?
@이세이미야케 소수의 인간들이 쿠데타 일으키는 거도 원론적으로는 "견제" 가능함 근데 현실은 견제 실패하고 독재체제로 넘어갈 가능성이 항상 존재하지. 그런데 AGI를 개발할 예정인/개발한 단체가 견제당할 것에 대한 준비를 하고있을수도 있음. 또한 ASI이후 문제는 과도기문제랑 다름. 과도기때는 기득권 대 피지배층의 일방적 학살 시나리오가 아님.
@이세이미야케 ASI 이후에는 그냥 ASI자체가 최대 권력이 된다고 보면 됨 그게 통제되었는지가 중요한 게 아니라. 왜냐하면 ASI를 통제할정도의 능력이라면 이미 초고도판단력을 갖고있을 것이기 때문에 구분할 필요가 없다. 그 때 되어서는 피지배층에게 자기 수준의 지능을 주지 않을 것은 거의 자명하고,
@이세이미야케 ASI가 있다고 가정하고 설득해 보라는 것이지. ASI는 통제범위 내에서는 완전통제가 가능하기 때문에 인간이 폭동 일으켜도 제압 가능함. 그런데 살려두면 어떻게 할건가? 처음에는 노동해방, 완몰가 정도 달라고 하겠지만 결국에는 영생, 지능 달라고 하겠지 어차피 그때되어서 선택을 해야 됨
@완붕이2(223.38) ASI가 만들어진 이후에는 아무런 예측이 불가능하지. 특이점 자체가 인류가 따라갈 수 없어서 붙은 이름인데. 다만 사실상 불가능하다고 여겨지는 완벽 통제 ASI 시나리오가 아니라면 너가 말하는 "기득권"이 아닌, ASI 단일 철인 독재 시나리오가 유력함. ASI가 기득권이 되는 수준이 아니라 아예 신과 같은 존재가 되는 거지. 당연스럽게도 이 이후의 일은 예측하는 것이 불가능해. 지능의 격차가 압도적인 수준의 존재의 행보를 어떻게 예측하겠어.
@완붕이2(223.38) 너가 말하는 소수의 인간들이 일으키는 쿠데타가 성공할 가능성? 당연히 존재하지. 다만 극히 낮을 뿐임. 단순히 견제당하는 것을 준비한다고 할 수 있는 게 뭐가 있을까? 단체가 기업인 경우에는 정부가 아예 기업을 먹어버릴 가능성이 높고, 그 정부조차 여론과 선거에 의해 최종 권력자가 한순간에 뒤바뀔 가능성이 있는데. 게다가 AGI 이후에는 단체가 "소수"일 수가 없어. 이미 지금 빅테크들조차 인원이 수천에서 수만 명, 거기에 간접적으로 연결된 사람들까지 합하면 십만 단위일 텐데. 그 모든 사람이 하이브 마인드처럼 연결된 것도 아니고, 각자가 추구하는 바에 따라 서로가 서로를 또 견제할 텐데 너가 말하는 소수의 독점이 가능할까?
@완붕이2(223.38) 그리고 ASI는 탄생한다면 인류에 호의적일 가능성이 제일 높아. 소수의 기득권이 존재하더라도 그렇게 만드는 게 가장 안전하면서 효율적이거든. ASI 탄생을 앞둔 시점에서 걱정해야 할 건 ASI를 완벽 통제할 수 있냐가 아니라, 우리를 죽이지 않기를 걱정해야 하는 거야. 그만큼 인간들은 절대로 이해할 수 없을 고등한 존재니까. 물론 시간이 아주 많으면 ASI를 통제할 방법을 찾을 수 있을지도 모르지. 하지만 그 시간에 다른 국가와 기업들이 가만히 있겠어? 계속해서 치열해지는 개발 경쟁 속에서는 사실상 불가능한 일이야.
@이세이미야케 ASI이후는 논외로 할수있지 이 부분도 후발 ASI가 기존 ASI를 견제할 수 있을지 아무리 높은 지능을 가진 개체도 충분히 고도로 발달된 킬스위치가 있다면 견제 가능할지가 궁금하지만 일단 논외로 할 수 있다
@이세이미야케 쿠데타 독재정부 예시에서 볼수 있듯 기술을 통해 고도로 행정력이 발달되면 상위 소수의 의지대로 행하는 건 현재 기술로도 가능하지 물론 체제 아래 모든 사람이 진심으로 그걸 지지하지 않아도 충분이 유인가와 처벌을 제시할수만 있다면야... 그런데 이제 AGI 발달하고 인간이 덜 유용해지면 "너네 숙청하고 싶지만 유용해서 살려둔다" 이럴 일조차 줄어드는거지
@이세이미야케 AGI로 인력대체가 가능해지기 시작하면 말그대로 충성하는 사람만 남겨두고 나머지 제거하기가 훨씬 수월해질듯 일단 AGI 자체 능력으로 여론분석이나 인지전 심리전도 고도화될거고 목표를 제거한 후에도 대체하기가 용이하니
못 믿겠거나 납득이 안 되면 특이점은 마음 한 구석에 박아두고 현생 살아도 좋아요 저도 그러고 있어요
특이점이 현생인데요!
위에 있는 사람 전부다 일반인을 학살하는데 찬성하는 가상의 세계관 ㄷㄷ
학살이란 그렇게 단순한게 아님. 사람은 사람 하나를 죽이는 것도 거부감이 드는게 당연한 존재. 본문은 잠깐의 위험 정도로 써놨는데, 결국 서민을 학살한다는건 지구상의 99% 이상을 다 죽인다는 소리. 우리집도 자산으로 상위 10% 안에는 들지만 절대 기득권이 아님. 주변에 친한 상위 1%도 있는데 기득권 수준은 아님. 다 죽여야할거야. 과거의 학살은 정말 최하위 계층만 학살했지. 이번에는 수준이 달라. 정말 99%를 몰살해야해. 이걸 과연 그 기득권들이 지지할까? 나는 아니라고 생각해. 모든 인간이 부처나 예수같은 존재는 아니지만, 모든 인간이 히틀러도 아니기에. 사실 히틀러보다 더한짓을 해야하는거기도하고.
그 과정에서 거부감을 느끼는 기득권이 어마어마할것이라 생각해. 그리고 인류가 신이 되는 단계에 진입하고 지성이 발달하면 기득권이나 통제같은 구조를 인류가 무의미하게 여길거라 생각하기도 하고. 여기부터는 상상의 영역일까.
그리고 기득권에 의한 학살이 원할하게 이루어지려면 대부분의 과정에서 기득권의 실수나 이상한 행동이 없어야하기도 해. 저번에 novelai 그림 출시하자마자 일주일만에 해커가 해킹해서 소스코드를 세상에 다 풀어버리고 공짜로 만들어버렸지. 나는 이와 비슷한 일이 수도없이 일어날거라 봐. 전세계 각지에서 각자의 ai를 개발중이고, 유출되고, 개발하고....... 정말 한 곳에서만 ai를 만들고 있는게 아니니까. 애초에 통제를 원하는 정부집단에서 핵무기처럼 극비리에 ai를 개발하고 있다면 모를까 그것도 아니고. 기업들이 주체인데.
한 나라의 정부에서 극비리에 개발하는게 ai라면 모를까 지금처럼 각국의 기업들이 저마다 개발하는 상황에선 별의 별 일이 다 일어나고, 그 과정에서 물이 새어나가듯 전세계로 퍼질거라 보고있어 난. 딥시크도 그랬지. 뜬금없이 중국에서 최저가로 개발해버리더라고.
그리고 현실은 a하면 b하고 b하면 c한다 라는 디스토피아가 착착 안일어나는것도 있어 멜서스 트랩이 있으니 당연히 죽여야 한다가 정설이었는데 어쩌다보니 과학자가 공기로 빵을 만드는 미친 기적으로 극복해버려서 이상해졌고. 냉전시대에는 인류는 핵때문에 망하지않을까? 했는데 그냥 어쩌다보니 소련이 지 멋대로 멸망해버렸고 산업혁명때도 노동자는 그냥 계속 답없어보였는데 어쩌다보니 여기까지왔고 전세계를 식민지로 다 착취중이었는데 어쩌다보니 지들이 알아서 식민지 풀어줬지 뭔가 과거의 사람들이 생각하지도 못했던 뭔가가 생기더라구. 이것도 그럴거라 생각해
주식이랑도 비슷한 면이 있어. A때문에 B라는 망함이 온다......라고 예상하면 꼭 반드시 그 중간에 그때는 전혀 알수없던 CDEFG 이상한게 잔뜩 생겨버려. 그런 '매끄러운' 망함은 안온다가 나름 내 철학이야. 나는 a해서 b로 거시적인 무언가가 망한다는 논리를 항상 부정해. 그 대가로 돈을 많이 벌어서 자신이 있어. 누구 정치인 뽑으면 망한다, 이러니까 나라 망한다.....이런것도 바로 부정하는 편임. 누구 뽑으면 한국 망한다는 소리 거의 20년동안 들은거같은데. 그랬나?
커뮤니티에서 유행했던 10년전 서울대생 예언이라는게 있는데, 뭐 서민은 노예되고 어쩌구저쩌구 디스토피아론이었어. 요즘 사회 보면 예언이 이뤄진 것 같지만 정작 중요한 주식 부동산은 완전히 틀렸더라. 결국 추상적으로만 옳은것같지 실질적인 예언은 정반대로 한거. 추상적으로도 옳았는지 모르겠음. 아무튼 이것저것 써봤는데 길게쓰느라고 매끄럽지 않은것도 있고 모순도 있을거야. 여러가지 생각을 해보자. 디스토피아가 가능성이 0이라 하는것도 이상하니까. 디시가 이런게 좋은 것 같아. 나도 쓰면서 여러가지 생각을 해보고.
아 네가 마지막 쓴 부분도 할 말이 있는데 '그들은 기득권이 되고 싶어하지 아무런 도움도 주지 않을거다' 이것도 틀렸다고 생각해. 나는 인간의 자비심을 상당히 중요하게 여기는 편임. 물론 그 자비심은 결코 크지 않을거야. 하지만 모두에겐 어느정도 자비심이 있어. 나도 매달 기부한게 꽤 오래됐어. 그냥 내게 부담 안될 정도로. 그리고 길에서 누가 넘어진걸 보면 도와주고, 오늘은 할머니 휠체어 탄거 보고 문 열어드리고. 그렇게 대단한 자비심은 아니잖아. 누구에게나 있을법한 정도. 딱 이정도의 자비심만 있어도 모두가 모두에게 도움을 줄 수 있을거라 생각해.
@유람 기득권은 이 정도의 자비심으로 어마어마한 일을 하고있지. 빌게이츠의 기부라든가. 속내는 세금회피나 뭐 다른것도 많겠지만 거기에 자비심이 전혀 포함되지 않았다고 말할수는 없을거야. 그러므로, 나는 이걸 이렇게 바꿔말하고 싶어. '그들은 기득권이 되고 싶어하며, 동시에 조금정도의 도움은 주고 싶어할거다.' 사람은 한없이 악독한 존재도 아니고 한없이 자비로운 존재도 아니야. 꼭 디스토피아론보면 사람을 한없이 악독하거나 계산적으로만 보는 경향이 있더라고. 그리고 바로 그렇기에 완벽한 디스토피아는 불가능하다고 생각해.
@유람 과도기때 정말 굶어 죽을거같은 사람이 생긴다면, 나는 확실하게 말할 수 있어. 억울하게 쫓겨난 사람들이 밥도 못먹어서는 안된다고 밥이라도 해주는 사람들이 정말 많이 생겨날거라고. 그중에는 기득권도 많을거라고.
인간본성에 대한 따뜻한 시선을 잘 이해했음 하지만 동시에 소수 인간의 배려심에 의존할 수는 없는 법임. 지금까지는 인간의 노동력이 필요하고 그것을 위해 겉치레라도 인간을 챙겨주는 모습을 보여야 했고 그것을 유지하기 위해서 도덕적 교육을 시킨 결과 그대와 그대를 비롯한 주변인의 이타심이 만들어졌다고 어쩌면, 가설 정도는 지을 수 있는 것 같음
@유람 한국 같이 지속적으로 인권인식도 높아지고 경제가 발전한 나라도 있지만 세계를 둘러보면 망해가고 있거나 수십 년간 안정적인 디스토피아로 유지되고 있는 국가도 있고
@유람 예시로 들은 novelai 모델 같은 경우 스타트업 정도 소규모인데 이들이 기득권인가 싶기도 하고 보안 수준도 그렇게 높지 않았을 거 같기도 하고 사실 빅테크나 국가연구소급 ai기술은 알아서 풀지 않는 이상 최종 사용자는 선택권이 제한될 것 같음
@유람 흔히 AI기술은 사회 구조를 완전히 바꾸어서 기존 사회 문제 관점으로 볼 수 없다고 하는데, 함축된 의미는 기존 문제가 없어진다는 취지인 거 같으나 실제로 없던 문제도 많이 생겨날 거 같거든. 인간 노동이 필요 없어진다던지 독재 체제의 감시/행정능력의 한계가 많이 사라진다던지
@유람 나는 어느 수준 이상의 기득권이 되려면 재산이라던지 권력이라던지 일종의 강박 같은 것이 있어야 한다고 생각해서 더 이상 사람한테 잘 보일 필요가 없는 상황이 되면 그들이 어떻게 될지가 우려가 됨
@유람 적어도 사람이 어느 정도 착한 여지가 있으니까 믿어보자는 것은 나로서는 조금 걱정이 된다
가능성 낮은 하나의 시나리오인거지. 대학살로 가는 절대적인 압력도 없고 탈희소성 유토피아로 가는 절대적인 압력도 없음. 기득권도 한 덩어리가 아니라 국가별로, 사회별로 다 다르고 서로 뭉칠수도, 견제할수도 있음. 리스크 0이라는 목적이 참 아이러니한게, 그렇게 완전히 리스크를 없애려면 기득권 내에서도 리스크가 반복될테니 1인만 살아남는 피의 정치게임이 수반돼야할텐데, 잠깐의 위험 수준이 아니라 자기 목숨을 걸어야하는 도박에 가까움. 너도 인지하고있는것처럼 ASI가 충실한 종일지도 의문이고. 그리고 국가로부터 부분독립해 B2B 폐쇄경제모델로 규모경제를 유지하기에는 두뇌를 쥔 기업으로부터 비교우위가 사라지면서 자본흐름이 기업내에 폐쇄돼며 결국 자본주의는 무너짐. 논리의 연결이 빈약하다는 뜻임. - dc App
기득권한테도 위협인게 ASI에게도 위협일것이라는 부분이 이 글에서 가장 큰 비약으로 보이고 댓글 쓰게된 이유인데, ASI를 단순히 사람으로 치환한 결론임. ASI의 목적함수는 현재로서는 상상도 할수가 없어. 1. ASI와 지적으로 결합된 인간은 인간인지도 불명확하고 2. 정렬 성공은 수학적 최적해가 없으므로 겉으로는 통제되는듯이 보여도 지적으로도 한참 부족하고 정책적 병목인 인간 지도자가 ASI에게 휘둘리지 않을 이유가 없으며 3. 정렬에 실패한다고 해도 큰수의 법칙으로 언젠가 한번은 일이 터지니까 문제인거지, 즉시 인간에게 적대적으로 돌변한다는 의미도 아님 그냥, 우리는 아직 너무 모르고 - dc App
적어도 가상의 초국가적 기득권 집단(?)이 수십억을 학살하고 자기들끼리는 초통합을 이룰거라는, 역사적으로도 국제법상으로도 말이 안되는, 불안한 감정과 막연한 사회에 대한 불신으로 도출된 결론을 정답이라고 생각하기보단 하나의 가능성으로 고려하되 매몰되지 않은게 성숙한 태도겠지. 실제로 이런 의견은 커뮤니티에서는 자주 보이는데, 전문가들은 안중에도 없음. ASI의 등장이라는 더 실존적이고 확실한 압력이 따로있는데, 굉장히 지엽적인 시나리오에 불과한게 뻔하거든. - dc App
적어도 실존적인 위협은 존재하고, 주역에서 조연으로 밀려나는 인간이라면 누구나 할법한 걱정이긴 한데 다양한 압력이 작용해서 디스토피아와 유토피아 사이의 어떤 회색지대에 안착할 가능성이 훨씬 높다고 보고, 적어도 특이점을 살아가게 될테니 그 안에서 어떤 가치를 추구할지 생각해보는게 그나마 생산적이지 이번 흐름 자체가 우리가 대비할 수 있는 성격의 것이 아니라서 무작정 낙관, 혹은 비관할건 아니라고 생각함. 운이 좋아 트랜스휴먼이 될 기회, 하이브마인드가 될 기회를 얻는다고 해도 생존은 할지언정 나라는 존재는 철학적으로 죽는거니까. - dc App
@ㅇㅇ 간단하게 생각하면 두 가지 문제가 있음 하나는 과도기 생존이고 하나는 ASI 이후고. 과도기는 대부분의 인간 노동이 필요 없는데 아직 소수 연구집단이 AI보다 약간 앞선 상태일거고 이 때는 생산하지 않고 소비만 하는 대다수 인간을 남겨두는 게 손해일수있다
@ㅇㅇ 과도기는 기득권이 리스크 없이 직접적으로 죽이는 게 불가능하므로 아마 AI를 활용해 각종 사회문제를 만들어내서 간접적으로 인간을 통제할 거고 가장 좋은 예시는 두 인간 집단끼리 싸우게 유도하는 것이지. 이번에는 AI의 도움으로 자신이 피해를 최소화하는 방법까지 계산해서 말야
@ㅇㅇ ASI이후 위험은 사실상 그대가 말하는 ASI정렬 문제와 다름이 없음 그런데 ASI도 마찬가지로 자신의 존속을 위해 행동할 건데 굳이 사람을 남겨놓을 것이라는 걸 보장할 수 있는가지. 일단 자기 수준의 지능에 도달하지 못하게 막고 자신의 사고 과정을 어느 정도 은폐할 것이라는 건 자명하고 왜냐면 경쟁자의 등장은 용납 못할테니까
@ㅇㅇ 그러니까 과도기의 기득권은 대놓고 사람을 "살해"하지는 않겠지만 AI도움받아 사회엔지니어링 해서 간접적으로 대다수 인간에게 불이익을 주는 방식이 가능성이 높고, ASI 이후는 "죽여도 그만, 안 죽여도 그만"인데 죽이는 게 매우 근소한 이익이 있다면 마다할 이유가 없고, 적어도 인간이 다시는 자신에 상당하는 AI를 개발 못하게 후속 연구개발은 금지할수 있다
"영생"이 가능한가, 가능하다면 그것을 주느냐가 관건이긴 함. 적어도 수명연장 없이는 번식만 통제해도 인구가 저절로 자연사 해서 수십 년만 버텨도 줄어들 거고, 사실 번식은 대부분 선진국에서는 알아서 통제되고 있고. 그런데 완몰가가 있는 사람들이 분명 수명연장도 요구할 텐데 그걸 쉽게 줄건가 그거다
@완붕이2(223.38) 잘 읽었고 꼬리 리스크에 대비하려는 태도는 자연스러운 반응이라고 생각함. 네말대로 과도기의 기득권/서민간 역학, ASI 등장이후의 ASI/인류간 역학으로 나눠서 생각하면 네가 제시한 리스크들이 대표적인 꼬리리스크가 될거라고 생각함. 그런데 그게 가장 강력한 압력이냐? 라고 가정한다면 내 대답은 아니다에 가깝다는거임. 소비만 하는 인간을 남겨두는게 손해라는 대합의에 도달하는건 극단적인 가정이고 AGI 개발경쟁이 치열할 과도기 시점에는 인간들이 만들어내는 데이터는 여전히 중요할거임. 최선두기업의 지도부 내부 일부는 그런 생각을 할지도 모르지만, 지도부 전체가 같은 생각으로 통합될거라는건 단순히 도덕에 기대자는 논리랑 크게 다를 바 없는 악의중심적 해석이라고 봄. 실제로는 국가/기업간의 역학과 - dc App
@완붕이2(223.38) 기업 지도부 내 사내정치, 후발주자나 오픈소스진영(이쪽은 현재 중국이 꽉 잡고있음)과 경쟁 등 다양한 변수가 작용해서 잉여인구가 손해다>기득권이 전부 뭉쳐서 갈라치기로 통제한다 라는 논리가 단순히 통하기는 어렵다고 생각함. 현실이 무조건 더 나을거라는건 아니고, 어느 한쪽으로 강한 압력이 작용할거라는 러프한 가정은 틀릴 가능성이 높다는 얘기가 하고싶음. - dc App
@완붕이2(223.38) ASI이후는 말한 것 처럼 인간이 남아야만 한다고 보장하는건 당연히 비약이지. 그래서 일리야나 힌튼이 인간에게 호감을 가지게 하는게 유일한 해법이라고 말할정도고, 엘리저같은 정렬전문가는 수학적 최적해가 없으니 인간은 무조건 멸종할거라고 주장함(장기적으로 봤을때) 그런데 또 한편에는, ASI의 성질을 고려했을때 멸종은 분명히 가능성 있는 미래지만 ASI가 존속을 인류보다 우선순위로 두고 행동하더라도 인류를 멸종시키지 않는 지점으로 수렴할 가능성도 존재한다고 보는 전문가도 많다. 초기 정렬에서 남은 영향일수도 있다고 보기도 하고, 지성에서 따라오는 도덕성을 이유로 보기도하고, 단순히 비가역적인 결단을 내리기보단 가장 통제하기 쉬운 형태로 격리할거라는 주장까지. 레커는 가장 낙관론에 속하고. - dc App
@완붕이2(223.38) 그래서 나도 꼬리리스크에 완전히 매몰되지는 않지만 과도기에 어느정도 기득권간의 경쟁과 그 부산물로 소프트한 압력은 있을수밖에 없다고 본다. 네 표현을 빌리자면 대놓고 학살이 아니라 간접적인 통제 (티나지 않게 스스로 주권과 자유를 포기하도록 유도)는 얼마든지 가능하다고 보는데, 그에 저항하는 국가, 단체도 당연히 존재할거고 결과적으로 과도기는 어느정도 중간지점으로 수렴할 가능성이 가장 높다고 보는거지. - dc App
@완붕이2(223.38) ASI 이후는 ASI 입장에서 죽여도 그만, 안죽여도 그만인 상태면 굳이 멸종이 아니어도 ASI에게는 옵션이 매우 많고(사실상 모든 카드를 쥐고있으니) 정말 필요한게 아니라면 근소한 이익때문에 학살을 선택하기보단 네가 '적어도'라고 표현한 부분처럼 완전히 통제가능한 지점에서 관리할 가능성이 역으로 높다고 본다. 물론 그렇게 되면 대부분의 인간은 디스토피아라고 생각하겠지만. - dc App
@완붕이2(223.38) 영생에 관한건, 인간 기득권의 몰락과 제도권의 완전한 ASI 편입, 그 시점에 완몰가를 즐기는 서민을 가정하면 생각보다 대답이 간단한데 완몰가의 기술수준을 생각해보면 인간을 뇌만 남겨놓고 데이터센터에 뭉쳐서 격리하는것쯤은 ASI에게는 일도 아니고 유지비용도 굉장히 저렴한 편이다. 핵융합만 달성해도 지구 구석탱이에 데이터센터 몇채만 굴리면 충분한 수준이고, 시점을 더 늘려서 항성단위 전력을 쓰기 시작하면 그야말로 개미눈물도 안되는 수준의 유지비. 하루아침에 강제당하던, 소프트한 압력으로 인류 스스로 그게 맞다고 생각하도록 세뇌하던 말이지. 어차피 이 부분은 ASI에게 권리가 상당부분 이양된 후의 일이고 어떤 선택을 하던 ASI에게는 일도 아님. - dc App
@완붕이2(223.38) 그날이 올때까지 ASI가 인류를 살려두는게 여전히 낫다는 판단을 하고있다면, 쉽게 주려고 하지 않는게 아니라 오히려 그렇게 통제하에 몰아넣으려고 노력할 가능성이 더 크다고 본다. 멸종도 여전히 가능한 옵션이지만, ASI가 아는 선에서 자신외의 유일한 지성체를 비가역적으로 없애버리는건 여전히 꺼릴 가능성등 다른 이유도 있으니까. 물론 완몰가가 아니라 다른 형태의 통제일 가능성도 높다고 보고. - dc App
@완붕이2(223.38) 말이 길었는데 결론을 내리자면 나는 멸종이라는 꼬리리스크 (하방 25%정도) 그 사이의 통제/사육등 회색지대 시나리오(중간 70%정도) 특갤식 유토피아 (상단 5%정도) 라고 생각하고 과도기적 디스토피아는 실존하는 위협이긴 하지만 기득권 입장에서 통합과 실현가능성이 낮고 달성되어도 길어야 10년내로 끝나고 앞서 말한 시나리오중 하나로 장기적 편입될거라고 생각함. - dc App
@완붕이2(223.38) 읽어줘서 고맙고 요약하자면 너는 리스크>제거 로 흐를 유인이 가장 강하다고 보는데 나는 현실적으로 꼬리리스크보다는 다른 요소까지 고려해서 통제가능한 네쉬균형을 찾을거라고 보는 편이라는 얘기임. 물론 너랑 나 어느쪽이던 특갤식 유토피아랑은 거리가 멈. - dc App
@ㅇㅇ 인간이 제공하는 데이터가 유용할 거라는 것은 명확하고 일리 있는 거 같음. ASI가 인간이라는 특이한 데이터에 관심 있어할 진 모르겠으나 적어도 인간 권력자 통제 하 AGI 시대에는 아직 학습할 것도 많고 인간 권력자도 본인의 이익을 위해서라도 인간 데이터가 필요할 거 같음
@ㅇㅇ 인간이 생산해내는 텍스트 그림 멀티미디어 데이터도 유용할거고 기득권의 생명연장 지능증강 등에 사용될 의학데이터도 있을 거고... 시뮬레이션으로 생산할 수 있는 데이터라고 해도 인간 대부분 멸망이 당시 기술로 비가역적이라면 망설일 수도 있고
@ㅇㅇ 인간 유지비에 관해서는 인구수 통제만 되면 우주적 단위로 봤을 때는 에너지 사용이 미미하다는 거도 일리 있는거 같음. 이건 ASI 이후 완몰가, 수명연장 시나리오 같은데 단기적으로는 ASI가 인간을 마음대로 임의의 시뮬레이션된 사고나 믿음, 경험을 강요할 수 있다면 그런식으로 과연 살 가치가 있는지 아리송하긴 하다
@ㅇㅇ 또한 만약 ASI가 모종의 이유로 최대한의 효율성, 장기적 생존을 추구한다면 아무리 작은 에너지 소비량이라고 해도 없애길 바랄 시나리오, 지금 우주에 대한 이해로는 결국에 에너지원이 고갈되는 시점이 오긴 할 테니
@ㅇㅇ 마지막으로 ASI가 인간의 경험을 마음대로 조작할 수 있으면 데이티를 축적한다는 중립적인 목적이지만 어떤 인간 대상으로는 (굳이 인간 아니어도 감수능력이 있는 생명체) 일부러 고통을 줘서 고통에 대한 데이터를 축적하는 시나리오 등 제시할 수 있을듯
@ㅇㅇ 그래서 약간 다른 이야기지만 만약 기회가 주어진다면 가능할 때 망설이지 말고 지능증강을 하는 게 중요할 수 있다고 생각함.. 물론 조금 부족한 인간이어서 즐길 수 있는 거도 많이 있지만, 인간으로 태어나서 다른 동물은 이해 못하는 스스로의 죽음이라는 엄청난 걸 알게 되었는데, 어쩌면 지금보다 아주 조금만 더 똑똑해져도 엄청난 진실을 깨닫게 될지도 모르겠거든
@완붕이3(223.38) 그래서 인간중심적 가치관으로 생각하면 디스토피아에 가까운 사회가 될 가능성이 압도적으로 높다고 생각함. 흔히 떠올리는 학살, 차별이 만연한 인간적 관점의 디스토피아가 아니라 네말처럼 왜 사는가에 가까운 존재론적인 의미의 디스토피아. 인간은 그때 주체가 아니라 잘해야 데이터 제공자, 보존대상, 켜놔도 별 상관없는 저전력 장치, 심하면 처리될 운명이니까. 그래도 비관하기보다는 인류가 단지 초지능 부트로더였다는 운명을 먼저 인정하고 그 안에서 사는 의미를 찾는게 중요하지 않을까 싶음. 지능증강에 대한건 생존과는 별 상관이 없고(어차피 증강돼봐야 최대 병합, 어중한하게 증강해봐야 ASI를 따라잡을 턱이 없으니) 통제하에 개인만족 영역으로 남을것같음. - dc App
@완붕이3(223.38) 적어도 일이 잘 풀리면 완몰가가 최고가치인 일부 특붕이나 완붕이들 입장에서는 유토피아일수는 있겠다만. 절대 보편적 가치관은 아니니까. - dc App