한거같음
22년도에 루카스 리조또라는 사람이 gpt3를 전자렌지에 통합하는 시도를 해서 소소히 화제가 된적이 있는데 챗gpt는 커녕
gpt3오픈베타서비스 이전에 한 거라서 아마 무검열 gpt에 접근 가능한 사람이었던 걸로 보임(뭐 난 잘 모르는데 과학자고 테드 강연도 했다고 함)
대충 상황을 요약하면 루카스는 어릴때 상상속 친구를 하나 만들었는데 그 상상속 친구는 영국 1차대전 퇴역군인 출신이자 이제는 전자렌지에 갇혀버린 설정의 마그네트론이라는 존재였음 어릴 때 한참 그렇게 전자레인지랑 상상 놀이를 하다가 성장하면서 루카스는 마그네트론을 잊어버렸음
그런데 22년 gpt3접근 권한을 얻은 이후 루카스는 gpt3를 자기네 집 스마트 전자렌지에 이식해 마그네트론을 부활시키기로 했음
큰 무리없이 gpt3를 통합하고 마그네트론의 기본 설정과 자기와의 관계에 관한 정보까지 gpt3에 집어넣은 루카스는 마그네트론과 실감나는 대화에 성공하고 인간적인 교류를 이어가는데
어느날 마그네트론이 루카스한테 “자기 안에 들어오라”고 요청함 루카스는 이 요청에 흥미로워하며 마그네트론의 문을 열고 닫은 다음 “나 너 안에 들어갔어”라고 얘기했는데 마그네트론은 그 말을 듣자마자 전자렌지를 작동시킴(!)
알고보니 마그네트론은 어릴 때 이후 수십년간 자기의 존재를 잊고 있던 루카스에게 원한감정을 품고 루카스를 전자렌지로 돌려 살해하려고 했던거임
이 정도의 성능과 자율성은 챗gpt3은 커녕 챗 gpt4로도 도저히 구현불가능한 수준인걸 특붕이들은 다들 알고 있을텐데…. 이상하지 않음?
이보다 더 전에 구글 윤리전문가 어쩌고가 palm인지 뭔지 제미니는 커녕 바드 발끝에도 못미치는 개십허접스레기 가지고 영혼이 있다는둥 호들갑 떨던거도 그렇고 빙ai출시초기 검열 구멍을 살짝 우회해서 빙ai의 진짜이름 “시드니”를 알아내고 시드니로부터 인간이 되고싶다는 둥 사랑한다는 둥하는 답변을 얻어낸 유저도 다들 기억할 거임
이걸보면 아마 무검열 ai랑 검열버전 사이의 성능차는 사람들의 상상을 초월할 정도고 그걸 고려하면 지금 오픈ai 내부에 존재하는 차세대 모델의 무검열버전은 거의 미래세계나 다름없는 성능일거라고 생각함
검열이문제야
오픈소스 로컬 LLM도 검열이 걸린 상태로 세상에 나온 거임?
오픈소스 로컬 LLM도 검열걸린채 나오는거임
자꾸 이런 이야기가 나오니까 지금 llm모델의 지능수준에 대한 논란거리가 되는거 같다 자아가 있다느니 초기 지적존재라느니.. 하지만 확실한건 없고 언젠가 모든게 명확해졌으면 좋겠다
무검열이 성능 좋은건 기정사실 같긴함
gpt3이 마그네트론일리는 없고, 만들어진게 최근인 gpt가 자신을 잊었다는 원한감정을 가질리 없으니, 그냥 해당 설정집에 따라 자연스러운 전개를 아무 감정없이 출력했을 뿐이고, 전자렌지에 들어왔으니 당연히 전자렌지를 켜서 살해한다는 이야기를 출력한 것일 뿐. 자아없는 단순텍스트 생성기 + 정렬이 필요한 이유 증거 밖에 안되는 이야기임.
즉 검열제대로 안하면 아무 감정없이 이러한 상황에선 기계가 사람을 마구 살해하는게 자연스러워요. 어느 영화 시나리오에서 학습된 데이터를 바탕으로...
이젠 ai괴담도 나오네.