애초에 맞는 정보와 틀린 정보가 혼합되어 입력 되었고 때로 틀린 정보를 수렴할 확률이 분출된 것 뿐 아닐까? 똥물 수돗물 섞여 담긴 탱크에 달린 수도꼭지에서 똥물 나온다고 그게 수도꼭지 탓은 아니지.llm 이 정보의 옳고 그름을 따질 통찰력이 있을까? 입력되는 정보를 심사 할까? 그건 아니잖아. 고도로 수렴만을 할 뿐
그래서 데이터셋이 전부래잖아
틀린 정보가 있어서, 틀린 정보를 바탕으로 환각을 만드는 게 아니예염.
헐 ㄹㅇ? 그러면 환각은 어떻게 만들어지는것?
언어모델이 자신이 아는지 모르는지에 대한 메타인지가 없이 무조건 후보 단어 확률중 argmax 때려서 그럼
argmax라 보기도 애매한게 같은 질문 계속하면 답이 계속 변하는게 T가 0이 아니라서 그러는데 랜덤성을 일부러 넣었다고 봄
똑같은 답변을 막기 위해 랜덤성 집어넣은거 맞음