[일반] 망각문제 해결하려면(continual learning)

[Core(moidoro)]

기존에 배운 작업에 관한 기억을 가진 가중치가 있고

이 가중치가 다음 학습에 의해 변형되어버리면 기억을 잃어버림

결국 가중치가 남아있어야 한다는거임

기존 작업 가중치 플러스 다음 작업 가중치

이렇게 두개의 가중치가 남아있어야하는데

시냅스 한가닥은 하나의 가중치를 가짐

결국 가중치 두개를 유지하기 위해서는 더 많은 시냅스가 필요한거임

두개의 작업을 기억하기 위해 더 많은 시냅스가 필요한거지

[익명(112.162)]

조금 다른것들마저 모두 새로운 시냅스 할당하다보면 시냅스 개수가 폭증. 동물의 두뇌가 감당할수없음. 그래서 추상화를 해서 특징별로 유사한지 판별해서 유사하면 동일 시냅스 이용.

[익명(23.119)]

이거 상당히 어려운 문제라서 loss function의 관점에서 regularisation 을 주는 방법 model expansion (너가 말한 방법) 또는 replay based approach 등 여러 방법들이 많음