유입님들 좀 모르시는 것 같아서...짧게 정리.
틀리면 댓글로 적어주세요.
일단
AGI는 정의가 다양하긴 하지만, 보통 인간수준을 많이 말합니다. 나 같은 인간의 IQ를 말하는 게 아니라, 스스로 사고하고 행동하고 발전할 수 있는 수준을 말하죠.
이게 중요한 이유가 '스스로 발전할' 수도 있기 때문입니다. 물론 인간 수준의 작업을 능숙하게 하니까, 인간 수준 노동을 대체할 수 있다는 의미도 있지만요.
스스로 발전이 중요한 건.
이렇게 탄생한 AGI한테 '모든 방법을 동원해서 너 스스로의 성능을 발전시켜라.' 라는 명령을 내렸다고 합시다.
그럼 당장은 인간 정도의 사고능력이 있을지라도, 전세계 모든 컴퓨팅 리소스를 쓰고, 인류가 그동안 저장한 모든 논문과 연구자료를 분석한 후에 스스로를 개선할 수 있습니다.
그때 GPU 같은 게 적다면 새로 설계하고 생산하는 데 시간이 더 걸리긴 하겠지만, 아마도 그렇진 않겠죠.
결국 현재 같은 '인간의 무수한 자본과 노력' 없이 스스로, 그리고 압도적으로 빠르게 발전하게 됩니다.
그리고 가끔 AGI나 ASI나 그냥 단순하게 뛰어난 AI로 생각하시는 분들이 계시지만, ASI는 그냥 소설에 나오는 신과 비슷한 거라고 보시면 됩니다.
그래서 특갤에서 'ASI 나오면 이거 됨?' 같은 질문이 올라올 때마다 특붕이들이 '뭔지 몰라도 됨' '뭐든 됨' 이라는 댓글을 다는거죠. 그냥 인간의 수준을 아득히 뛰어넘는 존재라서 뭐가 되고 안 되는 지 알 수 없습니다.
우리가 ASI라고 부른 순간조차도 하루 지나면 또 아득히 뛰어난 존재로 변해있겠죠.
즉, 정리하면, AGI를 만드는 것과, ASI를 만드는 것. 이 중에서 인간이 열심히 투자하고 연구하고 노력해서 되는 건 AGI입니다. ASI는 인간이 연구하고 투자하는 게 아닙니다.
자, 그러면 여기에서 사람들 의견이 조금씩 갈리기 시작합니다.
빠른 AGI vs 느린 AGI
빠른 ASI vs 느린 ASI
비슷한 느낌의 비교인 것 같지만 좀 다릅니다. AGI는 인류가 개발하는거고, ASI는 명령만으로 수행되니까요.
이에 대한 의견에 따라서 총 4가지로 분류할 수 있겠습니다.
빠른 AGI | 느린 AGI | |
빠른 ASI | A | B |
느린 ASI | C | D |
4가지라고 말씀은 드렸지만, 실제론 4가지는 아닐거구요.
(참고로, 정렬은 쉽게 말하면, AI가 말귀를 알아듣게 하는 겁니다. 원숭이 손처럼 '지구온난화를 해결하자. 음? 인류를 없애자.' 이러지 않도록요)
A(빠른 AGI, 빠른 ASI) : AGI를 빠르게 개발하고, ASI로 가는 명령을 빠르게 내리자. 즉, 정렬도 하지 말고 그냥 명령 내리자. 입니다. 당연히 지지하는 사람이 없고요. 빠른 ASI는 너무나도 당연한 인류 멸망이니까요. 하지만 가끔 특갤에 빠른 거면 다 좋다고 생각하시는 분들이, '빠른 AGI! 빠른 ASI!' 이렇게 외치시곤 합니다. 오해가 있으신거겠죠.
B(느린 AGI, 빠른 ASI) : 음? 적어놓고 봐도 이상하긴 하죠. AGI를 느리게 개발하는데, ASI는 정렬하지 않고 빠르게 하자.........?
C(빠른 AGI, 느린 ASI) : 알트만으로 대표되는 입장이라고 보시면 됩니다. 알트만은 최대한 빠르게 AGI 수준까지 개발을 해서, AI에 대한 경험을 통해서 이해를 하고, ASI를 정렬 시키면서 천천히 조심스럽게 도달하자는 입장입니다. 일단 알트만 본인은, AGI에게 ASI로 발전하라고 명령을 내리면 몇일 내로 도달 가능할 것이라고 생각하더라고요. 즉, ASI가 빠르게 도달할 수 있지만, 천천히 도달하게끔 통제해야 한다는 입장. 그래서 청문회에서도 일정 크기 이상의 AI는 기관이 규제, 감독해야 한다고 발언하기도 했습니다. 사다리 걷어차기라는 해석도 있지만요.
D(느린 AGI, 느린 ASI) : 안전주의자들의 입장입니다. 유드코프스키라든지, 알트만 해임한 이사진이라든지. 알트만 후임으로 오려고 했던 이사진은 'AGI를 제외한 모든 AI는 발전해도 좋다. 하지만, 발전속도를 0부터 10이라고 할 때, AGI는 1로 개발해야 한다.' 라고 하기도 했습니다. 어쨌든, 이 사람들은 아무리 정렬을 시키려고 해도 ASI, 혹은 AGI도 통제를 못 할거라 인류에 위협이 될 거라고 말하고 있습니다.
굳이 따지면 B도 안전주의자의 주장이라고 볼 수도 있습니다. 알트만은 AGI를 만들고 ASI 명령은 안 하고 통제한다는 입장인데, 안전주의자들은 AGI를 일단 만들면 ASI 명령은 실수든 의도하지 않았든 발생할거고 순식간에 ASI에 도달해서 인류를 멸망 시킨다고 합니다.
ASI에 대해서 정리하면,
빠른 ASI는 무조건 나쁘다(정렬이 안 됐으니까)
안전주의자는 '무조건 빠른 ASI일테니까, AGI 개발부터 반대한다.'
라고 알고 있습니다.
최종적으로 정리하면
1.뛰어난 AI는 인간의 업무를 서서히 대체할거고, AGI는 완전히 대체할 수준. ASI는 소설, 영화에 나오는 수준.
2.빠른 AGI, 느린 ASI : 알트만 입장. 그래서 알트만은 사람들이 AI를 최대한 많이 접하기를 원함. 특갤에서 추앙 받는 이유.
3.빠른 ASI : 이건 '빠르게 개발해야 한다' 같은 발언이 아니고, 빠르게 나타나는 걸 막을 수 없다는 발언. 안전주의자의 입장.
4.이렇게 적어도 역사는 반복됐듯, '특이점 오면 XXX 가능?' 'ASI는 OOO 가능?' 이런 글은 꾸준히 올라오긴 할거고
'ASI 정렬이 가능함? 오만한 거 아님?' 도 올라올거임.
5.아 물론, 얀르쿤옹은 '지금 방식'이라면 AGI 못 만드니까 호들갑 떨지 말고, 다른 방식으로 빨리 AGI 만들자. 인건데, '결과물'이 최근에 아쉽고, AGI가 늦게 온다는 결론이라 특갤에서 욕을 좀 드심. 주장이 흥미로우면 지지하면 되는데, '결과물' 없는 것 때문에 할 말이 없어지는 게 반복되어온 역사긴 함.
그렇다고 안전주의자처럼 특갤의 적으로 간주되는 건 또 과한 것 같고.....물론 트위터에서 어그로를 잘 끌긴 함. 별명 중 하나가 트위터의 투사, 쌈닭 뭐 이런...
틀렸을 수 있음. 몰라. 편하게 막 적은거임.
6.아...추가로. 유입분들 입장에선 완몰가나 역노화나 너무 격이 다른 기술로 느껴지겠지만. 뜯어놓고 볼 때, 의외로 ASI까지 필요한 기술은 아닐 수도 있어서요. 역노화를 예로들면, 그냥 역노화라고 하면 벤자민버튼의 시간은 거꾸로 가는 것처럼 타임머신 기술이 필요한 것 같지만.
음, 일단 가능성 중 하나긴한데, 싱클레어 하버드 교수였나. 그 아저씨는 노화가 세포가 자기회복 능력을 잃어가는 걸로 해석하거든요. 그래서 이걸 되돌리면 영원히 젊을 수 있다. 라는 입장입니다.
물론, 당장은 역노화가 아니라도, 항노화라서 모두의 수명이 5년 늘었다고 칩시다. 근데 그 5년 동안 또 기술이 발전해서 10년 더 살게 되고, 더 살게 된 기간 동안 또 항노화 기술이 발전하다보면.......언젠가 노화가 멈추게 되고, 영생하게 되는데. 그러다보면 역노화도 올 수 있다는 입장이지요.
즉, 10년 안에 역노화가 오냐? 에 대해서는 회의적일 순 있지만, 요즘 수명을 볼 때 6~70살 먹은 분들도 역노화 혜택을 누릴 수 있냐. 에 대해선 의외로 가능성이 있다는 것입니다.
정리가 잘되었네요
이 글을 공지로 보내자 ㄹㅇ 이해 잘되게 써놨네
글 잘썼네. 파딱 양반들 이거 공지로 못올리나?
일단 레이커즈와일이 80에 가까운 사람이니 ㅋㅋ 가능할듯
asi정렬안하면 걍 원숭이 손 되는거지ㅋㅋㅋㅋ
좋군요
본문에서 말하는 AGI는 인간처럼 생각할 수 있고 재귀개선이 가능한 AGI인데 지금 유명인들이 25년에 온다고 외치는 AGI는 전문가 수준의 자율에이전트라 많이 다름
얘는 그냥 광신.도네
빠른 AGI와 빠른 ASI가 왜 당연히 인류멸망인지 이해가 안 되는데. ASI가 뭘 할지 예측이 안되는데 왜 그런 결론이 나옴?
나도 빠른ASI도 그렇게 위험하다고는 안봐서 이생각이긴 한데 불안정해도 정렬이라는 대안이 있는이상 지능과 자비의 인과관계, 위험성이 없다는 확신을 주지 못하면 빠른AGI 빠른ASI는 늘 후순위 취급받긴 할거임.
후순위 = 우리 죽고 나서 혜택을 받거나, 무서워서 아예 안 오거나.
예측이 안 된다는 말이 긴 기간의 측면에서, 좋은 미래도 있을 수 있고, 나쁜 미래도 있을 수 있다. 이런 의미라기보단. ASI한테 무언가를 요구할 때 좋은 선택을 할 수도 있고, 나쁜 선택을 할 수도 있다고 보시면 될 것 같습니다. 그런데 능력이 너무 뛰어나서 각각의 선택이 인류에게 유익하면 좋겠지만, 치명적으로 해로울 수 있는거죠. 물론, ASI는 능력이 뛰어나니까 '야 아까 명령 잘못된거야. 다시 되돌려줘'라고 하면 되돌릴 능력은 있을 수 있겠지만, 만약 이 명령조차 의도하지 않은 방향으로 진행된다면?... 편하게는 '원숭이 손' 같은 이야기랑 비슷한 말이라고 보시면 됩니다. 이뤄지긴 한건데, 이상하게 이뤄지는.
음, 약간 약한 예일 순 있겠지만, AI에게 '검을 든 기사의 말을 그려줘' 라고 요청을 했을 때. 정렬이 덜 된 AI는 '말'이 검을 든 그림을 그려주기도 합니다. 인간이라면 당연히 기사가 검을 들게 그리겠죠. 인간에겐 해를 주지 않는 방향으로 해줘! 라고 했더니 인간 제외한 생명체에는 해로운 방법을 쓴다든지. 그럼 예외조항은 계속 늘어날거고, 충분히 했다고 생각했는데도 생각치 못 한 문제가 있을 수도 있죠. 그래서 안전주의자는 정렬 자체가 불가능하다고 하는거고, 일리야는 openAI 지하실에 감금 돼서 정렬하고 있는거겠죠.
어떻게든 반드시! 피해가 온다! 정렬이 되어도 능력이 상승할수록 우리가 생각못한 틈새로 한순간에 좆된다! 라고 생각하면 ASI는 개발하면 안 되는 물건임. 둘 중 하나지. 데이터센터 테러하거나, 머스크햄의 뉴럴링크로 우리가 ASI랑 같이 진화하거나.
넵. 그래서 그런분들이 안전주의자쪽. 독학이라 발언의 무게는 가볍지만 그쪽으로 강하게 말하는 사람이 유드코프스키라고 있습니다. 알트만도 그 사람이 쓴 글 중에 몇개는 흥미롭다고 했던 것 같긴한데, 글 몇개 찾아서 읽어보셔도 좋을검다. 진지하게는 말고.
그런 사람들이 있다는 건 당연히 알고 있음. 늘 하는 얘기가 똑같아서 딱히 새로 볼 필요도 없고, 단지 난 항상 궁금한게 그런 주장을 믿는 사람들이 왜 특갤에 오는가 하는 거임.
고지능자 - dc App