[📪정보] 지속학습에 관하여

[익명(49.164)]

 안녕 특붕이들

듣보잡 한구석 어딘가의 ai대학원생이야

주요 관심사는 지속학습(Continual Learning)이야

지속학습이 해결하려는 문제는 바로 인공신경망이 가지는 파국적 망각(Catastrophic Forgetting)을 해결하려는 거야

그런데 인공신경망은 언제 뭘 망각을 한다는 걸까?

그걸 이해하려면 먼저 순차 학습이 뭔지를 알아야 해

초기 인공지능 학습 방법은 모든 데이터를 모아두고 한방에 학습완료! -> 제품출시 후 사용 이라는 두 단계만 존재했어

근데 인간도 그렇고 아무리 멍청한 동물이라도 학습은 항상 실시간으로 이루어지는 거잖아?

그래서 나온 개념이 온라인 학습이야. 새로운 데이터가 계속해서 생겨나는 상황에서 처음부터 모든 데이터를 모아서 학습할 수 있는 게 아니고 그때그때 실시간으로 새 데이터를 학습하지 않으면 안 되는 상황을 가정한 학습법이지

이건 사실 고전머신러닝에선 이미 강화학습 등에서 계속 해오던 것이기도 해

근데 그걸 인공신경망에게 시켜보니까 이놈이 당장 바로 직전에 학습한 데이터조차 제대로 예측하지 못하는 성능 하락이 발견된거야

이게 학계에선 매우매우 유명한 '인공신경망의 고질적인 망각 증상'이야

근데 이게 대화형AI에서 흔히 보이는 이전 대화 내용을 까먹고 개소리하는 거랑 같은지는 아직 잘 모르겠어

왜냐면 그런 대화는 이미 학습이 끝난 '테스트 단계'의 사용 중에 일어난 거니까

근데 GPT-3 이후로 소개된 최신의 초거대 대화형 모델은 문맥을 이해하고 이전의 대화 내용에 모순이 없게 잘 대화를 이어나가는 모습을 보여주는데

잘은 모르지만 아마 이전의 대화 내용까지 그냥 다시 입력데이터로 사용해서 마치 AI가 이전의 대화 내용을 기억하는 것처럼 보이게 속이고 있는 게 아닌가 싶어

그런데 이런 방식은 입력 데이터가 무한히 커질 수 밖에 없다는 한계점이 있어서 인간 수준의 회화능력에 도달하려다가 수퍼컴퓨터 비용만으로 나라를 거덜내지 않을까 생각해

그래서 나는 여기도 지속 학습 알고리즘이 키포인트가 될거라고 생각해

순차 학습에서 이전 학습한 내용을 잊는 현상을 방지한다, 라는 게 지속 학습의 목표인데, 대화형 AI도 결국 실시간 상호작용 학습의 일종으로 보면 지속 학습의 응용분야가 될 것 같아

그럼 지금까지 나온 지속 학습이 대충 어느 정도냐하면

(ref. https://youtu.be/ehKPhsTlJtA)

대표적인게 요정도가 있어. 저 중에 Deep Generative Replay 같은 건 한국에서 나온 논문인데도 엄청난 영향력이 있어

물론 저기 나온 것보다 훨씬 많은 논문들이 나오고 있고

저중에 가장 최초가 뭐냐고 물으면 아마 EWC(Elastic Weight Consolidation)이 아닐까 싶어

이거 이후로 파국적 망각에 사람들이 주목하기 시작해서 다들 EWC는 무조건 인용하고 보는 분위기야

지속학습은 또다른 이름이 많은데 평생학습(LifeLong Learning), 점진학습(Incremental Learning), 온라인 학습(Online Learning) 등으로도 불려 (사실 온라인 학습은 지속학습과 겹치지 않는 부분도 있어)

더 자세한 설명은 이 글을 참조해보는 것도 좋을 것 같아: https://realblack0.github.io/2020/03/22/lifelong-learning.html

이쪽 공부만 거의 한학기째 하다가 이제 간신히 실험해볼만한 주제 찾아서 시작하는 단계인데

재밌는 내용 있으면 또 돌아올게

세줄요약

1. 지속학습은 인공신경망의 파국적망각을 해결하려는 연구

2. 2017년 EWC 이후로 지속학습 연구가 폭발적으로 성장함

3. 지속학습이 아마 대화형AI의 장기기억 문제에도 키포인트일듯

[xxxxx(61.38)]

난 궁금한게 인공지능은 데이터베이스에 저장못해? 그러면 망각 안하지 않아?

[익명(49.164)]

나도 아직 모르는게 많지만 내 생각을 말하면 기본적으로 신경망은 데이터셋을 달고 다니면 굉장히 안좋은 걸로 봐

[익명(49.164)]

데이터베이스에 저장하냐 아니냐의 문제보다는 '이전에 봤던 데이터에 접근하는걸 허용할거냐 아니면 그런 기존 데이터의 저장 없이 신경망 혼자서도 기억문제를 해결할 수 있게 만드냐'로 봐야 할 것 같아

[익명(49.164)]

그래서 지속학습의 한 갈래가 리허설 방법인데 이건 기존의 데이터들을 저장하는 버퍼를 신경망에 달아두고 거기 저장된 데이터들을 다시 불러와서 사용하는 거야. 당연히 이런 버퍼가 없는쪽이 선호돼

[xxxxx(61.38)]

아.. 그렇구나 AI쪽은 잘 몰라서 종종 글써줘 게이야 ㅠㅠ 고맙다

[ㅇㅇㅇ(221.140)]

ㅇㅇ 그래 이게 결정적으로 부족했던 부분인거 같다. 추가로 하드웨어만 제대로 업그레이드된다면 기대할만 할듯

[익명(27agi2asi100)]

[익명(58.124)]

궁금했던거 두가지만 물어보자. 1. 학습이 완료된 ai는 같은 입력이 들어가면 똑같은 값만 출력하냐? 그러니까 플라밍고랑 문답할때 정확히 같은 문장으로 시작해서 똑같은 질문 반복하면 같은 대답만 나와? 2. 학습완료->제품출시랬잖아. 근데 니가 말한 지속학습이 되려면 이미 학습이 끝난 ai가 계속 학습을 해야 된다는건데 그게 가능하냐? 이전 데이터와 알고리즘을 유지하면서 새로운 학습이 가능해?

[익명(49.164)]

하나씩 대답해보면 1번은 특정 모델이 어떻게 하는지는 모르겠지만 같은 입력이 들어가도 다른 입력이 나오도록 만드는 테크닉은 생성모형에선 몹시 흔하고 대부분이 하고 있는 거야. 입력값에 노이즈를 더해주는 등으로 데이터 선처리 작업이 들어가 있어. 생성모형에서 이와 같은 다양성지표도 성능평가에 중요한 한 요소야

[익명(49.164)]

그러니까 1번 답은 No야. 똑같은 질문이라고 같은 대답이 나온다는 보장은 없고, 그래야 한다고 일반적으로 인식되고 있어

[익명(49.164)]

2번은 안타깝지만 아직 그 단계는 아니라고 해야할 것 같아. 학습단계와 테스트단계의 구분 없이 실시간으로 학습과 활용을 동시에 하는것, 이것이 지속학습의 이상적인 흐름이고 먼 목표라고 할 수 있지만 초기 지속학습의 모양새는 보통 '학습->테스트->학습->테스트->...' 이렇게 수없이 반복하는 형태였고, 최근들어 그런 경계를 허물고 진정한 의미로 두 모드를 동시에 진행하려는 연구가 이뤄지고 있는데 이게 내 주요 관심사이기도 해

[익명(49.164)]

2번에 대해 추가를 하자면, 신경망이 학습이 끝난 뒤에 추가 학습을 하는 것 자체는 지속학습 알고리즘 없이도 누구나 할 수 있는거야. 그냥 저장했던 모델 다시 불러와서 추가된 데이터 집어넣고 다시 학습을 돌리면 돼. 문제는 그렇게 했더니 이 멍청한 모델이 그 전에 학습한 걸 까먹더라는 게 문제지. 여기서 추가 학습을 했다고 해서 기존에 우리가 만든 모델이 망가지거나 알고리즘이 바뀔 이유는 없어. 왜냐면 신경망을 학습한다는 건 그냥 신경망에 들어있는 파라미터들의 숫자가 바뀌는 게 전부거든.

[익명(58.124)]

답변 고맙다. 대충 이해했다. 재귀학습이라는걸 하려면 지속학습이 먼저 선행되어야 할거 같다. 건투를 빈다.

[트라야누스(218.235)]

개추

[익명(211.59)]

agi 나온다는 전망을 하는 연구원들 트윗이 올라오는데 어케 생각함?

[익명(49.164)]

이 분야에서 날고 기는 전문가들도 의견이 갈리는데 일개 듣보잡 대학원생이라 모르겠다. 그저 특이점만 믿을뿐-

[익명(211.59)]

그래도 한국 교수님들이나 학계 의견들은 알거 아님??

[익명(58.124)]

211.59 그걸 어찌 알겠냐. 유튜브만 봐도 다들 두루뭉술하게 얘기하는구만. 면전에 대고 "니 특붕이야 아니야~" 할수도 없는거 아니냐.

[익명(49.164)]

1. 지도교수 외 다른 교수의 개인 의견을 들을 기회가 별로 없음 2. 대다수 교수의 관심은 agi보단 돈 되는 기술

[익명(39.117)]

[익명(39.117)]

[익명(honmonodeath)]

[ㅁㄴㅇㄹ(125.132)]

오... 정보글 ㅆㅅㅌㅊ