[일반] 지속학습과 장기기억은 개념적으로 어떻게 다른거야?

[익명(sky0204)]

쉽게 설명좀

[익명(bangonick0138)]

그게그거아니냐

[ㅇㅇ 1(125.134)]

지속학습 = 들어온 정보들을 망각없이 실시간 가중치 조정으로 모델내에 학습시킴, 장기기억 = 롱 컨텍스트 100만 토큰 1000만 토큰 넘겨도 90퍼센트 토큰 소화력 유지

[ㅇㅇ 2(119.56)]

현재 모델들은 사전학습으로 배운지식만 알고 새로 개념을 가르치는게 불가능. 이걸 해결하는게 지속학습 장기기억은 말그대로 장기기억

[진짜억울하네(later5752)]

LLM 같이 신경망 구조를 가진 인공지능 모델들은 필연적으로 새로운 정보를 학습했을 때, 기존 정보들끼리 연결된 가중치가 달라짐

[진짜억울하네(later5752)]

그래서 새로운 정보를 학습 시킬 때, 기존 정보들의 가중치 개빠그라져서 모델이 병신이 되지 않도록 이빠이 노력을 해야 함. 근데 그 들이는 노력의 수준을 자동화하고 매우 적은 수준으로 들이게 되면

[진짜억울하네(later5752)]

사용자가 사용하면서 입력시키는 정보를 실시간을 학습하는 것이 가능할 것임. 그렇게 되면 입력값이 많아져도 현재 모델처럼 바보 병신이 되지 않을 것이다...