continual learning이 agi의 열쇠 같다


예를 들어 catastrophic forgetting을 해결하려는 시도로 dynamic expandable network라는 게 있는데


요약하면 기존 태스크에 학습된 신경망이 새 태스크를 학습하기에는 용량이 부족하면 그만큼 새 뉴런을 추가해서 추가된 뉴런으로 새 태스크를 학습시킴. 그러면서 점점 신경망이 커져감


근데 계속 다른 태스크가 추가됨에 따라 신경망이 너무 커지면 계산비용만 늘고 거기다 이전 태스크가 더 이상 들어오지 않으면 그걸 학습한 옛날 뉴런들은 잉여가 되잖아?


그럼 이제 그런 뉴런을 삭제하는 방향으로 연구들이 진행되겠지?


이거 완전 인간 뇌가 하고 있는 거랑 똑같지 않아?


젊어서 뇌세포가 활발히 생성되는 애들은 그만큼 새것에 학습도 잘하고 반대로 필요없어진 뇌세포는 사멸시켜서 가성비는 유지하고




겉핥기로 공부해본 거라 여기까지 밖에 생각 안해봤는데 좀 더 공부하고 돌아오겠음 이만