챗GPT는 답변을 만들기 위해 제작자가 미리 만들어 둔 일종의 매뉴얼이 있는데 그 과정을 최대한 쉽게 풀어내면 다음과 같다. 먼저 사용자가 프롬프트를 입력하면 챗GPT는 자기가 가진 단어장에서 프롬프트의 단어들과 자주 같이 사용되었던 단어들의 우선순위를 높인다. 이 단어장에 있는 단어들을 이용해서 답변을 생성하는데, 대개 우선순위가 높은 단어들을 이어 붙이는 방식이다. 이 매뉴얼은 모든 프롬프트에 예외 없이 동일하게 적용되는데, 사용자의 프롬프트에 따라 달라진 단어장을 이용하여 이어 붙이기를 하니 프롬프트에 맞는 답변이 그때그때 생성될 수 있는 것이다. 챗GPT도 이렇게 주어진 매뉴얼에 따라 그저 반복적으로 동작할 뿐이다.
이 설명은 챗GPT가 거짓 정보를 출력할 수 있는 두 가지 가능성을 직관적으로 알려주는데, 첫 번째는 단어장이 이상하게 만들어졌을 가능성이고, 두 번째는 이어 붙이기가 잘못 되었을 가능성이다. “세종대왕이 맥북을 던짐”의 경우만 살펴보면, 프롬프트 자체에 “세종대왕”과 “맥북을 던짐”이 같이 있다 보니 “세종대왕” 관련 단어들과 “맥북을 던짐” 단어가 혼재된 단어장이 만들어지고 정해진 매뉴얼에 따라 이들을 이어 붙였더니 이상한 답변이 되었을 가능성이 높다. 즉, 챗GPT의 매뉴얼에 결함이 있을 뿐, 선의건 악의건 어떤 의도가 있었다고 보기는 어렵다. 챗GPT는 그저 정해진 매뉴얼에 따라 자유의지 없이 기계적으로 답변을 만든 것이다.
챗GPT를 환각경험의 주체라고 간주하는 것에는 소프트웨어나 컴퓨터를 의인화하려는 사고방식이 다분히 깔려 있다고 볼 수 있다. ‘환각’이라는 개념이 인간 정신의 상태를 기술하는 심리학, 정신병리학 등에서 발원한 것 탓인지 ‘챗GPT 할루시네이션’이라는 합성 신조어는 챗GPT를 마치 인간처럼 간주하도록 우리를 은근히 유도한다.
용어 자체가 LLM에 대한 과장된 기대에 어느정도 영향을 미치긴 했을듯
ㄹㅇㅋㅋ
만약 llm이 니말대로 단어 이어붙이기면 같은 질문에도 왜 매번 다른 대답이 나오냐? 학습된 단어장대로 이어 붙이기뿐이면 같은 인풋에는 같은 아웃풋이 나와야지 이런글 쓸꺼면 최소한 llm 작동 원리는 공부하고 써라
그렇다면 작성 중인 에세이(또는 다른 종류의 글)에 추가할 단어로 어떤 단어를 선택해야 할까요? 가장 높은 순위의 단어, 즉 확률이 가장 높은 단어를 선택해야 한다고 생각할 수 있습니다. 하지만 여기서부터 약간의 마법이 필요합니다.
왜냐하면 어떤 이유에서인지 항상 가장 높은 순위의 단어를 선택하면 대부분 창의적이지 않고, 심지어 같은 단어가 반복되는 매우 밋밋한 글이 되기 때문입니다.* 하지만 이따금 무작위로 낮은 순위의 단어를 선택하면 더 흥미로운 글이 됩니다.
여기에 무작위성이 있다는 사실은 동일한 프롬프트prompt를 여러 번 사용해도 매번 다른 글이 나올 가능성이 높다는 뜻입니다. 또한 마법의 힘을 조절하기 위해 낮은 순위의 단어가 얼마나 자주 사용되는지를 결정하는 소위 온도temperature 파라미터(매개변수)parameter가 있습니다. 에세이를 생성할 때의 온도는 0.8이 가장 좋습니다.
이게 뭐 누가 말한건데 높은 순위대로 뽑는게 아니라 가끔 낮은 순위에서 랜덤으로 뽑는다는거 아니야 이게 누구 피셜인데
그냥 같다 붙이기만 하고 누가 어디서 말했고 말이 없냐 알트만급이 말한거면 알겠는데 어디 개듣보 새끼가 근거 일도 없이 뇌피셜 싼거면 좆까세
그딴식으로 단순 랜덤 돌려서 찍어 내는거면 그냥 순위표 대로 출력하고 가끔 랜덤으로 변주 주는것도 못캐치하는 외국 대학들은 좆병신임?
애초에 작동 원리가 그런건데 뭔 알트만 까지야. llm에서는 온도라는 변수로 무작위성을 조절하고 온도가 1이면 가장 높은 무작위성을 지닌 답변들이 생성됨.
우선 순위 높은 애들을 모아두고, 거기서도 확률 순으로 나오게 할 걸. 둘 다 거의 같은 말인데 쉽게 하려다보니 생략된 게 많은 듯
뭔 소리고 니가 gpt 블랙박스 까봄? 알트만도 모르는게 gpt 사고과정인데 누가 그걸 llm원리 이러면서 gpt 사고과정을 다 아는거 처럼 말했냐고
이렇게 하면 나온다를 아는거지 이게 어떤 과정을 거쳐서 이렇게 나온다는 모름
이게 작동원리 맞아. GPT4에 직접 물어봐. 아님 OAI Playground 들어가서 davinci모델 같은거 temperature 0으로 설정하고 해보면 같은 질문에 같은 답만 나와. 그냥 랜덤성을 살짝 넣은거야. 스케일을 올렸을때 지수적 향상 이유를 모른다는 거지 작동원리를 모르는게아님. 이 마저도 하사비스인가는 지수적 향상으로 보이지 않는다고 함.
위에 121이 붙인 내용 구글링 해보니 울프람이 말했던거네 "스티븐 울프럼의 챗GPT 강의"
와.. 이 새끼는 아주 기본적인 llm 작동 원리도 모르면서 알트만이니 뭐니 근거 타령하고 있는 거였어? 이 쉬팔놈아 너 대체 특갤 왜하냐..? - dc App
121.173이 말해준게 작동원린데 뭘 공부하고 쓰래 ㅋㅋㅋ 지가 LLM 작동원리 공부하래놓고 말해주니까 gpt는 니애미도모름~~~ 니가어케암~~~ 이러고있네
매뉴얼 비유는 개소리같은데 세상에 어느 메뉴얼이 제작자도 이해못하고 분석못하는 메뉴얼이 있냐
역으로 현대 딥러닝을 어떻게든 구세대 ai 수준으로 깎아내리려는 과장된 억까임
글쓴사람이 그냥 머신러닝에 대한 이해가 전혀없이 쓴글인듯
Instruct, chat 모델 같은 건 이런 식으로 프롬프트에 답해라라는 전제를 깔아놨으니 매뉴얼로 이해해도 되지 않나?
그거는 in context로 그냥 프롬프트 앞에 제시하는거고 저건 모델이 스스로 학습한 가중치 자체를 뭔 사람이 지시한 메뉴얼 취급하는데 그냥 아예 틀린소리임
gpt가 진짜 사람이 지시한대로 돌아다면 ai 개발자들은 소원이 없겠지 rlhf하고 파인튜닝하고 이지랄 안해도 되는데
그냥 쉽게 와닿도록 표현한 거 아닐까
안이상한데
의도적인 의인화 시도였는진 알수 없어도 인간의 환각과는 너무 다르지.
뭐야 시발 걍 중국어 방 번역기 그거네?
번역기로 번역했냐 븅신가틍ㅁ
겨울이다
인간도 뇌에서 걍 익숙한 단어 꺼내서 붙이는거자늠 ㅋㅋ 검증 절차도 한 번 거치고 ㅇㅇ
이 댓글은 게시물 작성자가 삭제하였습니다.
분탕충 또왔네
이거 이재성 교수가 쓴 건데 출처도 없이 니좆대로 복붙하노
의인화 하면 안 될 이유라도?
또 3년전에 말하던 LLM은 확률론적 앵무새 반복이노 개소리라니까