[일반] 근데 전유물, 독점론 << 이게 반박 가능하긴 하냐?

[익명(donaldtru)]

난 일단 아니라는 쪽이긴 한데

미래에 AI 통제권을 쥐고 있는 사람들이 어떻게 행동하고 사유할지는 아무도 모르는 일 아니야?

[완몰가(crew9960)]

[익명(183.101)]

기득권이 agi asi를 통제할 수 있다=인간찬가론

[익명(aack12)]

agi직후에 자본주의가 유지된다는 가정하에 가능한 시나리오임 근데 agi->asi넘어가면 권력이 인간에게서 asi로 넘어가므로 불가능해지고 그 기간이 짧으니 걍 의미가없는거임

[익명(210.204)]

그놈들 말대로면 agi 들고있는 사람이 자기만 쓰겠다하면 뭐 방법도없고 논의해봤자 의미도없는데 왜 자꾸 여기로 들고오는지 모르겠음

[익명(125.131)]

그게 반박못한다는 뜻임 ㅇㅅㅇ

[익명(210.204)]

니같은놈 대가리속의 agi와 그걸 쥔 기득권 기준이라고 전재부터가 다른데 뭔 논의를 하고 뭔 반박을 함

[Invariance(command1270)]

Agi까지면 몰라도 asi는 점유뮬론 따위를 논하는게 의미가 없을 수준의 기술 단계니까

[익명(w1bxkomq1y2o)]

걍 직접 시나리오 한번 써보셈 AGI나 ASI로 점점 나아가는 기업이나 집단이 어느 시점에 어떤 방법으로 경제적, 국제사회적 한계를 뛰어넘어 어느 수준의 디스토피아를 만들어내는지 직접 써내려가다보면 개초딩같은 비약으로 가득 찬다는걸 알게될거임

[익명(211.112)]

agi까지는 어떻게든 통제 가능해도 asi부터는 통제불가능할것같긴한데.

[익명(183.101)]

agi도 재귀개선이 되는 이상 일정 단계는 순식간에 도달할 거고 아마 그 때부터는 호감작 부지런히 하는 거 아니면 빡세긴 할듯

[익명(39.123)]

이건 이미 여러차례결론 난 이야기임 통제가능한 시나리오는 무조건 전유물로 흐를수밖에없음. 그 통제권가진사람의 안전을 위해서. 그래서 유토피아 바라는쪽은 통제 불가능하다고 주장하는거

[익명(w1bxkomq1y2o)]

통제가능 시나리오도 ASI 단극 다극 시나리오로 갈리고 반박 쎄빠지게 나왔었음 유토피아 바래서 통제불가가 아니라 최근 노벨상 탄 힌튼이 통제안될거라니까 그 의견이 늘어난거임

[익명(39.123)]

나랑 진지하게 토론해볼?

[익명(w1bxkomq1y2o)]

참고로 난 유토피아론자가 아니라 전유물만은 가능성이 낮다는 의견임 전유물 가능성이 가장 높은 통제가능한 ASI 단극 시나리오는 그 자체로도 가능성이 희박할뿐더러 과정이 험난함 아무튼 실험실에서 이미 ASI까지 달성했고 완전독립적이며 정렬이 된다고 주장한다면 전유물밖에 답이 없지. 근데 애초에 존나 편협하고 유리한 시나리오로 무대를 옮긴꼴밖에 안됨.

[익명(39.123)]

난 재귀개선되면 1주일에 1만년씩 기술이 발전된다고 보는쪽이라 일단 재귀개선만되면 asi까지 순식간이라는 입장임. 통제가 가능하냐는 별개인데, 물리적인 시간상 다른주체가 끼어들기 힘들다고봄. 이 뷰 어떤거같음?

[익명(w1bxkomq1y2o)]

AGI 재귀개선 능력도 전문가마다 의견이 갈림 하드웨어 병목이 있을거라는 사람도 있고 커즈와일도 그정도로 급진적이진 않았는데 하여튼 차치해두고 1주일만에 ASI 도달이 가능하다고 해도 AI 빅테크 최신모델들 미 정부에 브리핑 해야하고 해당 프로젝트를 진행할 연구자도 한명이 아닐것이며 데이터센터/전력원 소유자 다 갈린 시점에 그런 위험한 도약이 가능할 가능성이 그렇게 높아보이진 않음 너무 편리한 가정 투성이임

[익명(39.123)]

일단 재귀개선되면 통제자입장에선 수많은문제가 해결됨. 정부문제야 해킹해서 적당히 통신교란해서 시간끌면되고, 인터넷이나 전화로 하는 모든거도 마찬가지로 조작이 가능함. 서로 소통이 안되는데 동의하고 자시고가 어디있음? 그리고 데이터센터 그 시점가지고있는거에서 스스로 개선하기 시작하면 물리적 하드웨어가 안바뀌어도 수천배는 더 강력해질꺼임 알고리즘개선으로. 그러면 asi가는거라고 생각함. 중간에 겐세이 놓는것도 인터넷을 통한 실제 의사소통이 가능한거지

[익명(w1bxkomq1y2o)]

편의를 위해 ASI 도달 주체를 Openai로 가정할게. ASI로 도달하기 전까지가 문제인거잖음? AGI가 재귀개선을 하는것과 동시에 아무런 장비도 없이 외부망의 모든 정보를 흔적없이 조작해서(전자전 교란은 장비도 필요할것이고 너무 티나니까 배제하는게 맞아보임) Openai에 기술 엑세스를 위해 접근하는 미국 AI안전연구소 직원의 눈을 피할 수 있다는 가정이 전제된거잖아. AI 안전연구소에 미끼로 보여줄 모델과 재귀개선을 할 모델 투트랙으로 리소스를 분할하는것도 문제인데 거기다가 Openai의 해당 프로젝트를 담당한 연구원들이 ASI를 강림시키기로 무조건 합의할 가능성이 낮다는것도 간과해서는 안됨. 해당 시나리오는 AGI의 재귀개선 능력을 전문가 의견중 최대수준 이상으로 과대평가한게 가장 문제지만

[익명(w1bxkomq1y2o)]

내부적인 의견합치와 마련된 안전망이 너무 쉽게 무력화될거라는 가정, 모델이 더 강력해져도 법률은 따라오지 않을거라는 가정 등 편리한 가정으로 점철돼있음. 나는 그래서 유토피아만큼이나 전유물론도 가능성 낮다고 봄. 수직충이 흑화하면 나올법한게 전유물이라.

[익명(39.123)]

우선 내 AGI 정의는 인간이 하는일을 할수있다 라는거임. 이 정의에따르면 AGI에 도달하는 순간, AGI연구원을 사실상 수억명까지 늘릴수있음(전기와 하드웨어가 데이터센터급이라는 가정하에 일단 그럼 AI발전속도가 최소 수천배(하루가 10년처럼빨라짐)는 빨라지겠지). 니가 말한 부분들은 다 사람이 시간을 써서 조작하고 리소스 나누고 한다는건데 이런거도 AGI도달하는 순간 해결됨. 왜냐면 그 사람이하는일을 AI가 할꺼니까. 담당직원이 동의 안할꺼라는건 일리있음. 나도 이런 경우 정부한테 통제권이 넘어갈수도있다고 봄. 물론 그럼 정부 권력층 전유물론과 미국시민유토피아론, 인류 유토피아론으로 나뉘는데 그 문제는 또 다른 이야기랑 차지하고, 연구원이 동의안하고 사단나서 정부쪽으로 넘어갈수도있는건 맞다고봄

[익명(w1bxkomq1y2o)]

AGI를 달성해서 재귀개선을 위한 AGI연구원을 수억명으로 늘리는순간 내부직원은 물론 데이터센터 주인인 MS와 미 AI안전연구소가 즉시 알게될 가능성이 높음(심지어 이 경우에는 민간용 챗봇 리소스까지 끌어써야해서 서버가 오랫동안 다운되는 등 민간인마저 냄새를 맡을거임) 하여튼 나는 정부 주도 전유물로 넘어갈 가능성이 그나마 높다고 보는데, 정부로 넘어가면 당장 학살시작하는게 아닌이상 권력싸움이 되는지라 기업 전유물보다는 형편이 나을거라고 생각함. 심지어 미국이 쇄국하더라도 미국을 제외한 세계의 자본주의는 여전히 돌아갈 뿐임.

[익명(39.123)]

나도 정부쪽으로 넘어가면 나한테 빵부스러기 올가능성이 훨씬 올라간다고봄. 기업 전유쪽은 ㄹㅇ 답이 없음 ㅋㅋ 정부쪽 -> 인류유토피아가 나한테 혜택이 오는쪽인데, 가능성이 극히 낮을뿐ㅋㅋ 그리고 만약 정부권력정유쪽이 아니라 미국유토피아가 되면 미국 AGI로 다른나라나 기업에서 AGI못만들게 빡세게 막을꺼임. 이건 안보랑도 연관되서

[익명(w1bxkomq1y2o)]

AGI 수준으로 해외 내부망을 막는게 가능할지는 모르겠음 레커는 심지어 전세계가 동의한 AGI 주도 기술억제 오웰주의 세계국가가 도래하더라도 기술발전은 꺾이지 않을거라고 했음. 커즈와일이 낙관론자인건 감안하고 봐야겠지만 AGI 단계에서 완벽한 세계적 통제가 가능할지는 생각해볼일임 ASI면 물리적 한계를 초월해서 해외 내부망과 오프라인의 영역머저 간섭하는게 가능해질지도 모르겠지만 근데 이 모든 대화는 ASI 통제가능이라는 전제 위에 세워진거라 그거까지 고려하면 디스토피아 가능성은 급격히 낮아짐 인간과 ASI의 관계는 통제불가능하다는 전제 하에 호의/무시/적대 크게 세 루트인데 무시나 적대는 멸종이나 다름없고 어떤 형식이던 호의를 가지면 유토피아니까

[익명(w1bxkomq1y2o)]

정리하면 ASI 도달 중점으로 봤을때만 정렬불가(호의/무시/적대), 정렬가능(기업전유물(독점/공유)/국가전유물(독점/공유)) 크게 7가지 시나리오가 생기는데, 너랑 나눈 관점 외에도 경제, 국제정치적 아이디어가 더해지면 이 중 디스토피아인 시나리오가 비중이 가장 높고 그 다음이 유토피아, 마지막이 소수만이 살아남는 전유물론이라고 생각해서 전유물론 가능성이 가장 낮다고 생각함.

[익명(w1bxkomq1y2o)]

디스토피아 가능성은 급격히 낮아짐▷전유물 가능성은 급격히 낮아짐 잘못씀

[익명(39.123)]

니말대로 되면좋겠다. 나도 유토피아 가능성이 조금이라도 높다고 설득되면 기꺼이 믿고싶음 그냥 머리로 안받아들여질뿐. 니 말도 논리가 있고 근거 있는말임

[익명(w1bxkomq1y2o)]

보니까 재귀개선을 이 갤에서도 탑급으로 과대평가하는 부류같은데 샘 알트먼이나 다른 AI 빅테크 내부자들 주장 보면 몇주만에 FOOM이 일어나서 ASI가 도래할 가능성은 적음 AGI가 너무 질질 끌려도 전유물 가능성이 늘어나지만 너무 수직으로 날아가도 전유물 가능성이 늘어나거든 근데 그 중간은 사회와 기술이 발맞춰 나아가는 시나리오들이 많아서 유토피아 가능성이 전유물 가능성을 역전함. 물론 멸종 디스토피아 가능성이 높은건 여전하지만.

[익명(39.123)]

그렇게 좀 느리게 기술이륙하면 좋겠다만, 내 생각은 AGI 도달순간 실리콘과 전기만 충분하면 AGI연구원무한생산 -> 알고리즘개선 -> 더 많은 연구원생산 -> 개선.. 이런식으로 극도로 빨라질꺼같음. 그래서 내 기준 특이점은 재귀개선임.

[익명(w1bxkomq1y2o)]

ㅇㅇ무슨 아이디어를 말하는건지는 알겠는데 그 레커가 FOOM까지 고려해서 낙관적으로 예상한게 45년 특이점인건 고려해야함 좀 사견이긴 한데 만약 정말 그정도로 재귀개선이 빠르다면 첫 명령의 영향력이 엄청나질것같음 통제도 사실 단순히 가불가가 아니라 오용, 내부적 불합치, 외부적 불합치 문제를 담고있어서 시나리오가 좀 많이 갈림 솔직히 디시 댓글로 토론하는게 무리인 수준임 개인적으로 다 따져봤는데 디스토피아>유토피아>전유물 이라는 결론에 도달했다는것만 알아줬으면 좋겠음 궁금한 포인트가 있으면 관점 나눠보고

[익명(39.123)]

응 고마워~ 즐거운 토론이었고 그 관점도 일리있는 말임 난 퇴근해볼께~

[익명(w1bxkomq1y2o)]

디시질에 칼퇴에 개꿀직장이노 나는 야근이다 게이야

[익명(donaldtru)]

다들 우둔한 질문에 현명한 답변 고맙다. agi는 확실히 전유물 염두할 수 있겠는데 asi부턴 빈부의 문제가 아니라 정렬의 문제겠네 agi->asi 사이 과도기에 AI 주도권을 쥔 권력자들 행보를 주시해야겠어

[익명(39.123)]

ㄴㄴ 그런건 아님 학자들사이에선 지능과 의식은 별개의 영역이라고 보는데 다수임. 즉 지능은 폭발하지말 의식을 고의로 만들지않으면 유능한 하인일 뿐이고 그 경우 asi도 통제시나리오로 들어감

[00(exist0407)]

[익명(donaldtru)]