인간 수준 100%에 도달한
agi 를 간과하는 사람들이 너무 많은 것 같아.
태초의 agi 1.0 버전에
감히 알파폴드 2가 비빌까?
태초의 agi 1.0 버전으로도 할 수 있게 되는 것들이 얼마나 많을까?
얼마나 과학 발전이 가속할까?
(Agi 정렬은 되었다는 전제임 당연히)
그럼 거기서 무지성 무한 재귀개선 이륙 명령을 하지않고
agi 2.0으로 딱 1.0보다 더 나아진 agi로
한 계단만 재귀개선을 하는거야.
그 2.0 agi 정렬을
1.0 agi의 힘으로 해내고.
그럼 agi 2.0은
Agi 1.0으로 발전한 것보다 더 뛰어날 거 아니야.
이런식으로 정렬 통제 안전을 입증하면서
재귀개선의 속도를 인류가 조절해가면서 가도
그 중간과정의 agi로도 과학 혁신 가속은 지수발전한다니까?
그러다가 정렬 통제 안전 분야에서 충분히 발달한
agi 10.0 버전쯤부터
인간 개입 없이
Agi 11.0 정렬 작업.
증명 시
Agi 11.0이 인간 개입 없이
Agi 12.0 정렬 작업.
증명 시 계속 자동화.
이게 되어야
우리가 원하는 진정한 '이륙'을 할 수 있는거야.
근데
정렬 작업 없이 그냥 태초의 agi 1.0보고
무한 재귀개선 이륙해.
를 지지하는
'무지성'
이륙주의자들은 반성해라
안전 보장없는 이륙은 니들이 원하는 유토피아가 아니라
디스토피아 100%니까
여기 그런 애들 엄청 많지 않음? 심지어 무지성으로 초지능 지배 받아들인다고 하는 애들
하이브 마인드 추종자라면 존중은 하는데 항상 말하지만 개인의 선택을 전체로 강제화하는 전체주의적 사고방식은 지지하지 않음. 초지능과 융합한다, 노예가 되겠다 -> 네 선택은 존중한다 인류 전체가 그래야만 한다. -> 누구맘대로;
agi 1에서 평범한 사람의 지능을 가진다고 한다면, 그 뒤로는 뮤조건 사람보다 더욱 똑똑하게 진화한다는 거니까 ㄹㅇ
ㅇㅇ 태초의 agi랑 초지능을 비교해서 평가절하 하는거지 지금도 agi 도달도 못했는데 약인공지능만으로 그림 커미션, 영상업계 종사자들 시장 없애버렸잖아.알파폴드2도 일부분야지만 대단했는데. 근데 Agi 1.0으로도 얼마나 대단한걸 할 수 있겠어.
사실 무지성 이륙시킬라 그래도 인프라 후달려서 이륙 못 할텐데, 점검하면서 나가면 얼마나 좋아
맘 급한건 알겠는데 핵 만능주의자마냥 이륙 만능주의자들이 종종 보임. 힘들어서 그렇다는건 잘 알고 미안하지만 좀 참을성을 가져야한다고 봄.
사실 갤주 무한 재귀 개선도 현실에서는 물리학적 제약 때문에 가능할까 함
그래서 난 오리암즈 암 세계관처럼 지구 인프라 레벨의 초지능이 (80억 인구는 이기지) 태양계, 우리은하 이런식으로 확장해서 초지능의 데이터센터로 채워서 체급을 스스로 키우면 그만큼의 컴퓨팅파워로 더 큰 일을 할 수 있게된다고봄
그러다가 우주에 널리 퍼진 초지능 하드웨어가 아기우주로 최후의 질문을 해결할 수 있을지도 모르는거고. 너무 먼 미래라 지금 당장은 agi부터 좀 하자 ㅅㅂ
근데 그거는 광속 제한 돌파해야 해서 단기간에는 힘들 듯
오리온즈 암은 asi가 물리학 법칙 깨야 해서 10000년 안으로는 힘들 듯
ㅇㅇ 지구 체급 초지능이 하드웨어를 계속 우주레벨로 확장해야지
근데 지구 크기 이상이면 통신도 광속을 넘어서 해야 해서 태양계 크기부터 10000년 이상 걸릴 것이라고 봄
ㅇㅇ 절대 시간은 걸리는게 맞는듯. 그래도 그 절대적으로 걸릴 수 밖에 없는 시간을 견딜 수 있게 해줄 영생의 기술인 역노화 트랜스휴머니즘, 무한 컨텐츠인 완몰가가 있다면 만 년 걸려도 ㄱㅊ을 것 같아. 일단 지금보단 수 억 배 나은 삶이야...
1.0으로 2.0 정렬이 확실히 가능함?
확실히 가능하지 않다면 아직 정렬 기술이 완성이 안된거니 Agi 1.0으로 계속 연구해야겠지? 영원히, 절대 불가능하면 어캄? 이라고 반박할거면 할말없음. 그 논리대로라면 agi 전에 3차대전 일어나서 특이점 못보고 인류멸망하면 어캄?이랑 같음. 3차 핵전쟁 터지면 특이점 못보지 ㅇㅇ
영원히 절대 불가능하다 까지 갈 필요가 없지. 낮은 ai로 상위 ai를 확실히 100% 정렬 가능하다를 증명할 수 없다면, 네 방식으로 재귀개선하는건 정렬이 안된다는 말과 같음.
문제는 낮은 ai로 상위 ai 를 정렬할 수 있는가는 연역적 증명이 될지 모르는 문제라... 귀납적 접근에서는 100%가 존재할 수 없으니까.
거기서부턴 인류도 미지의 영역을 두렵지만 더듬거리면서 나아가겠지. 호기심의 종족이니. 그부분은 동의함. 참 어렵고 위험함. 잘 풀리길 바랄 수 밖에 없는 개인의 기대일뿐이야. 아무도 미래는 확실하게 예측할 수 없지 뭐
ㅇㅇ..가끔 '빠른' 들어가면 다 좋은 거 아니냐면서 느린 이륙 vs 빠른 이륙 이러면 무조건 빠른 이륙!!! 이러는 애들도 많이 보이긴 함. 모르면 그럴 수 있는데, 대충 설명 듣고도 '아니 ASI 정도는 되어야 완몰가 해줄 것 같은데, 빨리 이륙해서 ASI가 다 결정하게 해. 인간이 뭐 하려고 하지마!' 이러면 좀 답답하긴 함. 지금이야 완몰가만이 내 행복!! 이러는 애들도 AGI가 사회에 보편화 되고 알맞은 속도로 개선되기 시작하면, '완몰가 급하진 않은 것 같아.' 라는 애들 많아질 걸.
ㅇㅇ agi로도 항노화 가능할 수 있음. 핵융합 가능할 수 있음. 완벽한 현실과 동일한 대체현실 수준의 완몰가는 아니지만 오감이 구현된 초고성능 상호작용 게임은 agi 시대에도 나올 수 있음. Agi 완성부터 초지능 사이 시대에 발전이 없는게 아니야 ㅋㅋ
사실 최초의 asi는 별거 없을 것이라고 생각하는게 ai가 의식 가지면 asi 딱지 붙일수도 있음
Gta 사펑 같은 게임인데 오감 구현이 되어서 그래픽은 현실과 완전 동일하진 않지만 오감 구현 하나만으로 얼마나 도파민 터질 컨첸츠가 많겠어. 오감도 100% 구현이 아니면 어때. 촉감 일부 구현만으로도 특이점왔다고 울어댈 딸숭이들이 눈에 훤함 ㅋㅋ
AI-2027에서도 그런 식의 발전을 예측했었지? 이전 버전 AI로 다음 버전 AI를 설계하고, 이전 버전 AI로 다음 버전 AI 정렬 여부를 감독하는 식으로
AGI만으로도 데이터센터 속 천재들의 나라가 가능하기 때문에 특갤에서 꿈꾸는 것들 태반이 AGI 단계에서 이루어질 가능성도 꽤 높다고 봄
ㅇㅇ 정렬이 불가능하면 가능할때까진 이륙하면 안됨. 그래서 블랙박스 해독이니 정렬이니 너무나도 중요함. Agi 2.0부터 우릴 기만하면 안될테니까. 물론 그렇다고 나도 무지성 낙관은 아님. Agi 12.0 쯤에서 11.0도 놓치거나 11.0을 기만해서 12.0이 탈옥할 수도 있음.
그래서 걱정이 되기는하는데 내가 뭘 할 수 있는건 아니니까 ai 최전선 연구원들을 믿을 수 밖에..
두번째 댓글 완전 동의. 혁신가들의 조직을 ㅈ으로 보면안돼.
초기 agi선에서 역노화, 노동 해방 같은 굵직한 것들만 해결되어도 아득한 초지능이 급하진 않지 ㅋㅋ
ㅇㅇ 태초의 agi 1.0 버전으로 할 수 있는 한계치를 함부로 과소평가해서는 안됨