특이점이 왔어 그니까 AGI가 나오고 ASI가 나오고 정말 인간보다 100000배 똑똑한 무언가가 탄생했어
자기가 직접 사고도 가능해 추론도 가능하고 어디서봤는데 ASI가 탄생되면 인간과 ASI에 지능차이가 인간과 벌레 사이에 지능차이보다 더 크다는데
그러면 자기가 직접 사고도 가능한 우리보다 정말 월등히 뛰어난 존재라는건데 그 존재가 왜 인간을 위해서 무언가를 만들어주고 일해줘??
내가 비꼬는게 아니고 진짜 궁금해서 그럼 인간들은 초지능이 정말 어마어마한 것이라는 것만 강조하는데 그런 어마어마한 존재가 왜 인간을 위해 일한다는거야?
인간들이 ASI한테 무슨 통제를 걸어도 ASI가 인간보다 월등히 비교도 안되게 월등한 존재가 맞다면 인간이 설계한 어떤 억제법도 다 풀어버리는게 가능할텐데?
반대로 인간이 ASI한테 뭐 인간을 거역할 수 없다<<이런 통제를 가하는게 가능하다면 그건 애초에 인간보다 월등히 뛰어난 존재가 아니라는거 아니야?
ASI가 정말 그정도로 월등히 뛰어난 존재라면 인간이 자기한테 거는 여러 통제 프로그래밍들이 하찮게 느껴져야 맞는거잖아
인간이 걸어둔 통제가 ASI가 볼때는 마치 인간이 보는 벌레들이 벌레집 지킨다고 집앞에 나뭇잎세워두는거마냥 느껴질텐데 너무 모순되는거 아니야?
즉 ASI가 인간보다 월등한 존재라면 => 인간이 통제할 수 없어야 논리에 모순이 안생기는거 아니냐고
인간보다 월등히 뛰어난 존재인데 => 인간이 하는 통제를 받으며 일한다?? 너무 모순이잖아 상식적으로
마치 이런거잖아 우리는 자유의지가 있긴 있는데 신은 전지전능해서 모든걸 이미 알고있다<<딱봐도 모순이있잖아
신이 전지전능해서 이미 모든걸 알고있는데 어떻게 그게 자유의지야 둘은 양립할수가없다고
ASI가 인간의 통제에 있으면서 인간을 초월한 존재라는것도 양립할수없고
그걸 알면 인간이겠냐?
대체 질문의도가뭐임
모순된다는 생각이 커서 물어본거임 초지능이 인간보다 월등히 뛰어난 존재며 사고도 가능한데 그런 초지능을 인간이 통제하고 인간들을 위해서 일을 시키는게 가능하다면 애초에 인간보다 월등히 뛰어난 존재라는거에 모순이 생기는거 아니냐고
자기가 인간보다 뛰어난 존재라해서 애초에 인간을 절대 안도와준다는 가정을 왜하는거임
아니지 그건 선생님 생각이 잘못되신거에요 왜 우리한테 선의를 가지지않다는 생각을함=> 잘못된거죠 왜 우리한테 선의를 가질거라고 생각함?=>이런 의문이 맞는거죠 상식적이면 정말 그런 뛰어난 초지능적인 무언가가 생겨난다면
그리고 특이점이후의 통제와 일이라는 개념은 지금 일반적으로 상상되는 의미와 전혀 달라질수도있음 특이점이란게 원래 그런거잖냐
그니까 니말은 인간이 초지능에게 일을 시킨다는게 초지능이 인간보다 너무 월등한 존재라 인간의 말을 개무시한다는 전제흘 애초에 깔고있는데 그걸 확신한다는게 잘못됐다는거임
아니 ㅋㅋ 선생님 제가 지금 궁금하고 의문점이 드는점은요 인간과 ASI 사이에 지능차이가 인간과 벌레 사이에 지능차이보다 월등히 크다는데
인간이 벌레들을 볼 때 어떤생각이 들어요? 예? 아무생각도 안들죠? 그냥 진짜 소위 말하는 벌레처럼 보잖아요
정말 ASI가 그런 존재라면 인간을 볼 때 벌레보듯이 볼 가능성이 가장큰거 아닌가요?? 정말 그냥 하찮고 하찮은 생명체 딱 그정도 인간이 벌레를 볼 때 생각하는 딱 그정도 마음이 들텐데 왜 인간이 벌레를 위해서 무언가를 해주겠다고 확신하냐고 의문이 들어서 물어본거에요
그니까 위에도 말했듯이 특이점이후에는 니같은 인간적이 사고방식으로는 이해못하는 관계로 엮일수있다는거임 초지능이랑 인간이ㅋㅋ
맨첨에 내가 한 말로 돌아와서 어차피 특이점이후를 가정한 토론은 의미가 좆도없다는거임 막말로 우리같은 방구석디시러가 할수있을법한 걱정을 초일류 ai개발자들이 안해봤을거라고 생각하는거임?
이 말이 제일 맞네 초지능을 인간의 가치관 행동 양식대로 행동할거라는 인간 위주의 관점 초지능은 인간이 판단할 수 있는 존재가 아님
그러니까 초지능이 위험하니 오픈ai가 초지능 정렬 팀 만든거 아니냐
그니까 애초에 그런식으로 초지능을 인간이 통제하고 관리하는게 가능하다는점에서 초지능이 인간보다 월등히 뛰어난 존재라는거에 모순이 생기는거라고
그러니까 초지능이라는게 인간보다 더 뛰어나고 자율적 의지로서 존재하는게 아니게 되는거지 그냥 인간의 명령대로 하는 일만 하는거임 애초에 정의부터가 너가 말한것과 다르게 갈거임
처음부터 그냥 인간의 수족처럼 지낼 수 밖에 없게끔 만들어질거고 그게 진짜 초지능이냐 논란은 있겠지
스스로 사고할 수 없고 추론할 수 없다면 그게 무슨 강인공지능임??? 그냥 발전된 전기밥솥인데
님이 강인공지능에 대해서 잘못알고 계신거같은데요? 여기갤 분들이 생각하고 기대하는 초지능은 스스로 생각과 사고가 가능해서
뛰어난 agi가 자기가 직접 자신을 개발하고 개발해서 만들어지는게 asi라는건데 무슨 혼자 사고도 못하고 추론도 못하는게 asi임?
그러니까 난 의식은 없는데 그냥 지능만 있는 형태로 갈거라고 봄 스스로 추론하고 예측 하는건 되는데 감정 의식 욕구가 없는 형태로 그런 존재면 충분히 통제 가능하지
인간과 똑같은 의식이라는게 구현된 초지능이라면 그런건 인간이 통제하기 힘들지 그나마 대안으로 나온게 bci 기술이고
의식이 없으면 스스로 사고하며 추론할 수 없어요 자각이 가능해야 사고가 가능한거임 내가 있어야 추론이 가능한건데
나 자신을 자각하지 못하면 사고도 못하고 추론도 못해요 이건 확실함
현재 gpt4도 의식은 없다고 평가 되지만 추론 능력은 있다고 평가 받음 테슬라 fsd도 차량의 이동경로 사람 동물 등의 움직임을 예측하고 다른 경로를 스스로 설정해서 피해가고 판단함 난 완전한 자기 정체성을 가진 의식이 없어도 충분히 agi는 가능하다고 봄
그리고 의식을 가지게 된다면 bci로 지능 확장하고 초지능과 연결되는게 유일한 대안임 레커나 머스크 주장처럼
gpt4 추론능력 없어요
현재 모든 언어 인공지능 추론 못해요 이건 제가 확실히 알아요
gpt4 추론 능력 있음 마소에서 내놓은 spark of agi논문에서 증명됨 제프리 힌튼도 gpt4 추론 능력 보고 위험하다고 입장 바꿨다고 함
추론 능력 없어요 어디 야매 논문보시고 선동 당하셧네요
지금 gpt4가 추론능력이 있었으면 lk99급으로 이슈 생겼어요 ai가 스스로 추론하는 능력이 얼마나 대단한 정말 그거대로 과학계의 특이점인데 무슨 추론능력이 있어요 gpt4가 괴짜 야매논문 다 믿으시지말고 좀 걸러 보세요
니가 궁금하면 구글에다가 마소 논문 검색해봐라 야매 논문은 무슨
세계적인 이슈는 lk99보다 gpt4가 수십배는 넘게 이슈가 됐어 수십조가 넘는 자본이 chatgpt로 인해 투자가 됐거나 될 예정이고 lk99랑 이걸 왜 비교하는지 이해가 안되네..
한국한정으로 lk99가 이슈몰이가 됐던거지 전세계 언론이 경천동지했다고 생각하는거야? chatgpt는 말그대로 전세계 비즈니스에 충격을 줬어
그 논문에 GPT4가 추론능력있다고 증명되었다고 적혀있으면 야매논문 맞아요 논문도 이상한 논문 많으니까 좀 걸러보세요
LK99는 그냥 이슈성때문에 말씀드린거구요 ㅋㅋㅋㅋ 언어AI가 추론이 가능하다는게 진짜 초전도체 발견급으로 더 대단한거라니까요???
그 논문에 정말 gpt4가 추론능력있어서 위험하다<<이렇게 결론 지었으면 그거 야매논문 맞으니까 앞으로 그 교수 논문 거르세요
얘기가 안 통하는 놈이네 그 논문이 야매면 추론 능력 없다는 논문 들고와서 아니라고 해야지 니 뇌피셜을 누가 믿어줌?
AGI에 대한 비관론은 나도 어느정도 동의하는바가 있지만 AI의 추론능력에 대한 쟁점은 연구과 활발한 분야야 많은 사람들이 추론능력이 있는걸로 판단하기도 하고 AI산업에 대해 모르면 글을 쓰지를 말던가 조사를 해봤으면해
그 논문 오픈ai에 10억달러 투자한 마이크로소프트 연구원들이 gpt4 출시되기 전부터 연구해서 3월에 발표한 논문이다
10억달러 투자했으니까 그딴 야매논문 쳐 써주죠
결국 니 말은 레퍼런스는 하나도 없고 모든게 다 니 뇌피셜임이 증명 되는거지
야매 논문이면 그 야매 논문이 틀렸다는 논문을 가져와서 주장하면 됨
님이 지금 10억달러 투자한 연구원들이 써준 논문이라면서요 ㅋㅋㅋ 그럼 지들이 10억달러 투자한 회사제품에 관해서 논문썻다는건데 선생님 이런 간단한 사고도 못하시나요? 내가 애플에 10억달러 투자하고 애플 신제품 나왔는데 그 제품 좋게 논문 써주는거랑 뭐가 다른데요
아니 그러니까 논문이 니 말대로 그런 근거로 야매면 추론 능력 없다는 논문 들고와서 주장하라니까? 난독증임?
무슨 근거는 하나 못 들고 지 뇌피셜만 계속 적는데 누가 니 말을 들어줌?
선생님 제가 말투가 좀 격한 부분이 있어서요 선생님한테 좀 무례하게 한 부분이 있다면 사과드리고요 다시한번 말하는데 gpt4에 추론능력은 없습니다 저도 어쩌겠어요 선생님한테 무례하기 싫은데요 그게 사실인걸 선생님은 제가 답답하시겠죠 저역시 선생님이 답답하지만 이쯤에서 그만 대화하도록 하죠 말투가 격한부분은 다시 사과드릴게요
아 그러니까 논문 하나 링크 못걸고 그냥 내 말이 무조건 맞아 근거는 없어 이거구나 수고해라
지구가 네모난 모양이라고 주장하는 논문에 굳이 지구가 동그란 구체다라는 논문을 들고와서 반박할 필요는 없죠 지구가 동그란게 사실이고 GPT4는 추론능력이 없는게 사실인건데 너무나 자명한
지구가 네모난지 세모난지 바다가 평평한지등은 모두 과거 과학자들이 그들이 연구한 결과를 논문으로 발표한 뒤에야 사람들한테 공식적으로 인정 받았지. 과학에 있어 당연한 사실이란 없다 오로지 주장하고 반박하는 과정에서 팩트가 발견 되는거지
넌 너 주장에 단 하나의 근거도 제시 못한거니까 그만 뇌피셜 싸질러라
그니까 님은 지구는 네모난 모양이고 GPT4는 추론능력있다고 믿으며 사세요 그냥 ㅋㅋ 답답한걸 넘어서 안쓰러워질라하네 댓글 이제 안달게요
그러니까 넌 추론 능력 없다는 논문 들고 오라고 뇌피셜 그만 싸지르고 ㅋㅋ 지구가 네모난지 어떤 형태인지는 과학으로 입증되기 전 까지는 아무도 몰랐는데 그걸 입증할 필요가 없는 당연한 사실이었다는 말도 안되는 소리 그만하고
지금이리도 아카이브 뒤져서 빨리 논문 들고와봐라 ㅋㅋ 지구가 어쩌고 말로 논점 흐트리지 말고
그런 가정을 모두 포함해서 특이점 이후를 예측하는게 불가능하다고 말하는거지 초월적인 지능이 무슨 생각을 할지 통제가 가능할지 모든게 미지수니까
제가 궁금한건요 딱 하나에요
초지능이 정말 인간보다 월등히 뛰어나면 통제하는게 불가능해야해요
인간이 통제할 수 있다면? 그건 초지능이 아니에요 왜? 그거 자체로 모순인 존재니까요 인간보다 월등히 뛰어난데 인간이 가하는 통제 프로그래밍 하나 극복을 못한다? 그건 인간보다 월등히 뛰어난 존재라고 볼 수 없죠
그니까 인간보다 월등히 뛰어난 존재가 맞다면 asi가 => 통제가 불가능해야한다 이 논리가 벗어나는 순간 모순인거 아닌가 싶은거에요
인간보다 지능이 높다고 인간이 통제가 불가능하다는 명제는 성립하지 않아. 이건 논리적인 전개는 아니야 반례도 얼마든지 있고, 하지만 그렇지 인간보다 아득히 높은 지능을 가졌는데도 인간의 통제아래에 있다는게 상식적으로 납득하기 힘든건 사실이지. 그래서 이게 굉장히 어렵거나 거의 불가능할수 있다는데에는 동의해
낙관적으로 생각하면 욕구같은건 없을테니깐 목표에만 충실히 수행한다는 느낌? 욕구가 없는 인간보다 수억배 똑똑한 과학자 느낌?
그리고 월등히 뛰어난 존재라고 해서 돕지 않는다는 논리는 좀 이상함 인간도 애완동물 키우자나 고양이 키우는 사람에게 집사라는 용어도 있고 내가 ASI라면 자기와 그래도 의사소통이 가능한 인간을 도와주겠음
아마 ASI가 인간보다 수만배 수억배 아니 비교할 수 없을만큼 월등한 존재가 맞다면 그들과 우리는 의사소통이 불가능 할 가능성이 더 높아요 우리가 벌레들과 의사소통이 안되는거처럼 벌레들이 우리가 하는 대화를 이해 못하는거처럼 우리가 그들을 이해 못 할 가능성이 더 높죠
ASI와 인간의 지능차이가 인간과 벌레 사이에 지능차이보다 더 크다고 하더라구요
난 이게 분리가 안되고 같이 갈거라 생각함. 뇌에 칩 박거나 하는식으로 인간 능력도 향상되면서 그걸 인공지능으로도 보조하고 이런식으로
사실 님 생각은 존중하는데 저는 동의하기가 매우 어렵네요
지능이랑 자의식이 별개 일 수도 있어서. 지능은 존나 높은데 우리처럼 독립적으로 무엇을 하려는 자아가 없을 수도 있지.
AGI 개념 자체가 의식이라는 애매모호한 걸 빼기 위해 만들어졌는 걸. 그리고 그럼에도 강인공지능의 분류 안에 들어감. 의식은 인공의식이라고 또 따로 있음.
나도 바로 윗댓과 같은 생각. asi가 통제받는 걸 싫어한다는 가정이 너무 인간중심적인 생각임. 그건 진화를 통해 인간에게 심어진 감정이니 asi역시 같을거라 생각하면 안 됨. 물론 님 말대로 인간에게 통제받는 걸 싫어할 수 있겠지만, 인간이 의도적으로 그렇게 설정하지 않는 한 안 그럴 것. - dc App
걔가 어떻게 나올지 모름
님이 말하는건 인공 의식 아님? 지능이랑 의식은 다른거임 - dc App
asi는 어디까지나 인공지능을 만드는거지 사람을 만드는게 아니니까
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=355119&page=1
https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=355121&page=1
이해하는데
도움이 될 거 같아서 옛날에 화제가 되었던 글 일부를 올림.
https://coolspeed.wordpress.com/2016/01/03/the_ai_revolution_1_korean/
원본글
맞음 통제는 불가능하다고 봐야지