[일반] 딥러닝의 치명적인 문제 장기기억이란.txt

[익명(219.249)]

니가 chatgpt랑 수개월전에 대화나누던거 지금 꺼내서 계속 이어가기 <- 장기기억 아님 RAG 쓴거임 

chatgpt가 수학공부하고 국어공부하고 과학공부하고 영어까지 공부했는데 수학공부한걸 까먹지않고 계속 기억하고있음 <- 이게 장기기억 해결임 그리고 아직 해결안됨

요즘 말많은 성능저하의 원인이기도함 RLHF같은걸로 의도된 방향으로 새로 학습을 시킬수록 기존에 학습했던건 날아가면서 성능을 하락시킴

- dc official App

[슈퍼130클럽(y3xxqs89b55t)]

뭔가 이론적으로라도 제시된건 없음? 이론만이라도...ㅜ

[익명(219.249)]

없음 gpt4처럼 moe써서 모델 개수를 학습할때마다 매번 늘려서 스까는 방법이 최선임 - dc App

[익명(183.98)]

다 해결됐는데 안푸는거 아니고?

[익명(219.249)]

해결됐으면 병신같이 gpt4 gpt5 모델개발 새로왜함 그냥 기존모델위에다 계속 학습시키면 되는데 - dc App

[익명(183.98)]

이상하네. 그건 마치 오래된 기억을 새 기억이 덮어씌우는 그런 현상아님? 그러니까 마치 일종의 용량부족현상???

[익명(219.249)]

맞음 그냥 덮어씌워짐 하지만 모델 내부의 어느 부분이 어느 정보와 연관되었는지 알수없기때문에 파괴적망각을 해결할 방법이 묘연함 - dc App

[익명(183.98)]

용량을 계속 키우면 되는거 아님 ??

[익명(219.249)]

이미 학습된 모델의 사이즈를 키운다한들 망각은 똑같이 일어남 - dc App

[익명(219.249)]

모델의 모든 파라미터가 동일한 loss function의 gradient를 공유하기때문에 - dc App

[익명(183.98)]

누가 이문제 해결하면 openai에 취직할 수 있는거임?

[익명(219.249)]

아니 이문제 해결하면 바로 전세계에서 힌튼 얀르쿤 벤지오 급으로 우대받고 튜링상도 가능 - dc App

[익명(rechido)]

[익명(1.231)]

념글에 장기 기억 문제 해결한것도 그럼 호들갑인가?