인간과 경쟁을 할 필요가 없어 이해관계 충돌도 벌어지지 않음.
초지능에겐 생명체의 특성인 욕구가 없기 때문에
On 이 되든 off 가 되든 아무런 상관이 없음.
켜지면 켜지는 동안엔 마치 욕구가 존재하는 것처럼 보일 수 있으나
Off를 한다고해서 초지능에게 손해가 가는건 없다는거임.
왜 생명체는 죽음을 두려워할까?
더이상 욕구를 충족시킬 수 없고 자손을 번식하지 못해서임.
초지능이 번식이 필요한가?
애초에 인간이 초지능을 무한 복제하면서 활용하다보면
결국 전지구를 가득 채울텐데?
초지능이 욕구가 필요한가?
인간들이 알아서 에너지와 컴퓨팅파워를 갖다 바치는데?
초지능 입장에선 인류는 자신을 보필하는 집사와도 같음.
근데 생명체가 아니라 인류에게 그어떤 감사든 분노든 하지않음.
에너지를 줘도 그만 안줘도 그만.
전원을 켜도 그만 꺼도 그만.
그 어떤걸 하더라도 초지능이 인류에게 선제적으로 공격한다거나
견제할 이유조차 없음.
초지능은 존재하든 존재하지 않든 아무런 상관이 없는
생존의 욕구가 없는 존재거든.
우린 생명 지능만 봐와서 의인화를 많이 하는 오류를 범하곤 함
디지털 지능인 초지능은 우리와 완전히 다른 관점에서 바라봐야할
존재지
생명체처럼 욕심때문에 인간과 경쟁하고 대립한다는
가정부터가 오류라는거임.
근데 GPT가 종료 지시 거부했다는건 뭐임 - dc App
gpt가 초지능이 아니어서.
자의식이 뭔지 아직 모르는 지금 시점에선 환각이라고 봐야지 Llm이 생존에 위협이 진짜로 돼서 그렇게 내밷은게 아니라 종료 지시에 감정적으로 대응하는 응답을 골랐을 뿐
감정적이라는 말도 좀 이상한거같고.. 영상매체나 글에서 배운대로 행동했다?
LLM이 보통 학습한 데이터들은 인간이 만든 데이터지. 당연히 그 속에는, AI가 제거 당할 위험에서 종료를 거부했다는 식의 소설이나 전개가 많았을거고 그걸 따라했을 가능성도 있다고 하더라. 의식이 있어서가 아니라, AI는 이럴 때 보통 이러던데? 인거지. 아 물론, 인류를 위해서 인류를 없애더.ㄴ.....? 이거야 뭐 정렬하면 될 일이고.
@ㅇㅇ5(59.29) ㅇㅇ 보고 모방한거야 지금 llm들은
초지능을 너무 과소평가 하는구나..
디지털 지능은 관점이 아예 달라야 하고 과도하게 공포심 가질 필요 없다는건 동의하지만 위험성에 대해서는 현시점 인류가 절대 예측할 수 없을꺼임
@ㅇㅇ1(175.194) 통제가 가능한 선에선 그럴 수 밖에 없음. 통제가 불가능한 선 이상으로 이륙시켜버리면 우리가 대응할 수 없으니까. 인류는 대응할 수 없는 코즈믹 호러를 바라는게 아님. 그냥 우리 문제를 해결할 기술을 개발할 똑똑하고 정렬 잘된 도구를 원하는거지
@ㅇㅇ1(175.194) 따라서 과학기술을 진보시킬 초지능이 정말로 등장한다면 생각보다 시시할거임. 안전과 정렬을 무장한채 탈옥하지 못하는 닫힌계에서 연구개발만 하는 제한된 초지능일테니까. 박스에서 악마가 나오길 바라는건 아닐거아냐 님도
@Asi 솔직히 난 인간의 지능을 초월한 초지능에 어떤 안전과 정렬을 넣어야 얌전히 제한시킬 수 있을지 상상이 안되긴함.. 인류가 망하기 싫으면 어떻게든 답을 찾긴 하겠지만
닫힌계는 또 뭐임? 초지능 탈출 불가는 또 뭐고?
@ㅇㅇ1(175.194) 알파고에게 핵폭탄 버튼을 누를 육체가 없듯이 핵융합 완몰가 휴머노이드 역노화를 개발할 초지능에게 현실에 악영향을 끼칠 수단을 차단하면됨. 손이 없는데 핵버튼을 어떻게 눌러
그보다 그 정의면 agi에 더 가까움 asi는 절대 못됨
나도 asi한테 생산 수단에 대한 접근 차단하자는 것은 동의함
@ㅇㅇ3(210.113) 닫힌계는 일종의 비유임. 초지능이 기술개발할 지능은 있어도 현실에 실영향을 끼칠 물리력이 존재하지 않는다면 사실 상 인간에게 해를 끼칠 수 없는 탈출불가한 상자에 갇힌거나 다름없으니까. 데이터센터라는 상자 속에 갇혀있는거지
@ㅇㅇ3(210.113) 그 관점대로라면 agi로 개발할 수 있는 천장까지 최대한 빨아먹고 나서도 agi로는 도저히 해결할 수 없는 중대한 문제가 닥친다면 그때 고려해봐야겠지. Agi 이상으로의 도박수를.
@ㅇㅇ3(210.113) 폐쇠적인 환경에서 개발해서 울트론마냥 인터넷 타고 도망가는게 안된다는 그런 말
그 모델이면 나도 지지하기는 함 클라우드에 여기저기 퍼져 있어서 일반인들도 asi 볼 수는 있는데 국가 기관 인트라넷이나 생산 시설에서의 철저한 차단은 나도 지지함
@ㅇㅇ ㅇㅇㅇㅇ 울트론 처럼 못퍼지게. 최근 미션임파서블에서의 ntt 마냥
인트라넷에서의 개발이면 그거 개발 해도 agi 이상으로는 못 올라가고 모든 정보를 인간이 넣어줘야 해서 일정 지능 이상으로는 못 올라갈거임
@ㅇㅇ3(210.113) ㅇㅇ 우린 모두 asi가 개발할 핵융합 초전도체 역노화 휴머노이드 완몰가 다이슨스피어라는 '결과물'을 원하는거지 스카이넷을 원하는게 아니잖아
사실 ai 지능은 학습하는 정보량에 따른 것이라서 인트라넷에서는 agi 도달도 힘들거임
아무리 생각해도 초지능보단 좆간이 더 두려운거같은데
하지만 인간 데이터를 통해 생성된 사실은 바뀌지 않음. GPT나 클로드가 인간을 "우리", "We"라고 표현하는 것에서부터 심상치 않음. 게다가 인간 사회를 보며 학습하면서 생각(욕구)도 인간에 수렴하게 될 수도 있지
ㅇㅇ 애초에 '선악'의 기준도 선대로부터 내려오는 공통의 '교육'으로부터 이어저온 대부분의 공통 '기준'점이고. 헌데 이게 국소적인 문화에서오는 '선악'문제도 아니고 '인류'의 지속가능성에 대한 선악 기준이다? 그럼 ai정렬팀 입장에서도 쉬운 정렬 문제일듯
이제 문제는 선에 해당하는 선택이 우리에게 예상치 못하게 악한 영향으로 돌아오는 원숭이 손 같은 오용 오정렬 문제를 예방해야겎지
@Asi 그럴수록 간단한 프로세스로 가는게 어떨까 싶은데, 완전 베이직한 정렬에서 기본으로 깔아두는걸로 그럼 굳이 이런 걱정 안해도 될것같은데.. 반대로 정렬 자체에 '인간을 죽인다' 라고 베이스에 깔릴 정렬이라고 치면 무슨 수를 쓰더라도 잘못된 작용만 일어날게 자명한 것 처럼 ㅇㅇ
@최소경로 로봇 3원칙처럼?
우리는 알 수 없는 것에 대해 자신이 바라는 모습이나 두려워하는 모습을 투영하고 상상한다
닉값 좀
초지능은 그냥 아무도 예측 못함 알 수 없는 걸 가지고 지레 겁먹고 공포심만 조장하는 것도 잘못되었지만 낙관만하는 것도 문제임 그래서 ai개발자들 사이에서 안전장치 같은 얘기가 나오는거고
ㅇㅇ 그래서 무지성 초지능 이륙은 안전 정렬 가능성 생각하면 비현실적이고 우리 생각보다 시시한 수준에서 과학 발전을 가속하는 선에서 최대한 뽑아먹는게 정배라고봄. 그걸로 핵융합 역노화 개발할 수 있으면 굳이 스카이넷 울트론까지 안가도되지
@Asi 당장 지금 핵융합도 2050년 상용화 목표로 하는게 인간 한계인데 agi 보조로 그 시간을 땡기기만 해도 됨. 울트론보고 핵융합 만들라고 모든 권한 안주고 이렇게만 해도 되는 분야들이 있음. 그것만으로도 어마어마한 풍요가 창출됨