[일반] llm 기억력 부분에서 문제가 생기는 이유가 뭐임?

[비닌(yoda1876)]

직관적으로 보기엔 추론같은거보다 훨씬 처리하기 쉬워보이는 문제같은데

- dc official App

[익명(14.45)]

불필요한 정보는 없애니깐

[익명(156.146)]

비용

[fhkteoRh(bkn001)]

돈 - dc App

[ㅇㅋ(ijh2005)]

신경망의 고질적 문제임ㅇㅇ 지편한 대로 얄팍하게 과적합되도록 학습하지 우리가 원하는대로 딱딱 구분되고 정돈된 체계를 학습하는게 아님 그러다보니 추론과 기억영역이 서로 뒤엉켜있고 추론이란것 조차 우리가 원하는 삼단논법의 연쇄로 쌓아나가는 추론이 아닌 무언가 말로 표현못할 교묘한 편법으로 데이터셋을 통으로 외우려는경향이 막강함

[ㅇㅋ(ijh2005)]

시험지 1000장을 학습하면 개념과 원리로 푸는것보단 이문제 내가 봤던 시험지중에 몇번째장의 몇번 문제와 유사하다 ㅇㅈㄹ하면서 풂 그래서 그걸 노리고 선형충들이 확률적앵무새니 뭐니 씨부리는거 ㅇㅇ

[ㅇㅋ(ijh2005)]

이걸 극복해보려고 온갖 염병을 떠는것중 대표적인게 오픈ai의 과정감독과 o1의 추론채널링?기법임 정답만 적어내지말고 이유도 적어내란거지

[익명(14.45)]

과적합은 파라미터 찾는과정에서 생기는 문제고 글쓴이가 말하는거는 애초에 구조문제인데?

[ㅇㅋ(ijh2005)]

그런 구조적 문제가 파라미터 맞춰가는것에서 과적합을 유발토록하는 신경망의 기본적 특성과 연관이 있다는거지

[ㅇㅋ(ijh2005)]

학습시 사고의 과정을 명시된 논리구조로 통제할수없기 때문에 타깃을 어떻게든 맞추기만 해라 식으로 지시할수밖에 없고 때문에 온갖 편법적 숏컷을 뚫으려는 시도가 열릴수밖에 없음

[익명(14.45)]

논리를 이해못하는구나

[ㅇㅋ(ijh2005)]

아무 뱐박도 없이 대뜸 이해못한다고 하는건 너 얘기하는거임?

[익명(14.45)]

밑댓참고 ㄱ

[익명(14.45)]

지금 알려고자하는게 기억력 문제가 생기는이유인데 기억력 문제가 생김을 B라고 하고, 파라미터를 맞추어 가는 과정을 A, 모델 구조를 C라고 하자. A,B에 대헤 C는 필연이다 너는 A->B가 참이다. 라고함 Proof) A->B를 참이게 하는 임의의 A를 잡을때 if C is not exist, 명제 A->B는 거짓. 따라서 귀납법을 쓰면 모순을보임

[익명(14.45)]

귀납x귀류 ㅇㅇ