[📪정보] 미세조정 중 발생하는 '망각' 방지하는 미세조정 기술 등장

[익명(165.194)]

https://www.aitimes.com/news/articleView.html?idxno=155839#reply

미세조정 중 발생하는 '망각' 방지하는 미세조정 기술 등장

내용은 위 기사 참조

사전학습(pre-train)된 모델을 미세조정(fine tuning)하면 반드시 기존 학습된 태스크의 성능이 떨어짐. 이걸 망각 현상이라고 함

이걸 막으려면 모든 기존 데이터를 전부 저장해놨다가 새 태스크를 학습할 때 처음부터 다시 다 같이 학습해야 함. 이걸 joint training이라고 함

그런데 상식적으로만 생각해봐도 모델이 대규모인데다 빅데이터를 매번 처음부터 다시 돌리는 건 자원낭비 시간낭비가 너무 심함

그래서 효율적으로 망각을 억제하면서 새 태스크를 학습하자는 연구가 지속학습(continual learning) 분야임

그런데 LLM에서는 이게 어려워서 아예 fine tuning을 하지 말자는 in-context learning이 있었음

특갤질 꾸준히 한 특붕이는 알겠지만 in-context learning은 학습을 하는 게 아니라 프롬프트만 계속 추가할 뿐인데 학습 효과가 나오는 것임

그것과는 달리 저 기사에서 말하는 미세조정이란 실제 추가 학습을 하는 것임.

즉 추가 학습 시에 지속학습 알고리즘을 통해 망각을 최소화하겠다는 솔루션을 내놓은건데

이게 논문이 아니라 회사 솔루션이라 정확히 뭘 했단 건지는 모르겠음. 본문 내용을 좀 인용하면

####

최근에는 낮은 메모리 및 계산 요구 사항 때문에 마이크로소프트(MS)에서 개발한 매개변수 효율적 미세조정(PEFT) 기술 ‘로라(LoRA)’가 많이 사용된다. 로라는 미세조정 중 전체 가중치 대신 일부 가중치만을 조정해 이런 비용을 줄이는 방법이다. 즉, 모델 매개변수 전체를 업데이트하는 대신 모델 매개변수의 변경 사항만을 업데이트한다.

그러나 로라가 결코 망각을 완화하기 위한 기술이 아니라고 지적했다. 원래 훈련 데이터와 일치하지 않는 데이터에 대한 미세조정으로 일부 가중치를 업데이트하면 결국 왜곡을 식별하고 수정하기가 어렵다는 설명이다.

또 로라 및 기타 기존 방법을 통한 미세조정은 편향되고 유해한 모델 출력을 방지하는 데 필수적인 '인간 피드백 강화 학습(RLHF)'을 통해 설정된 안전 조치를 약화할 수 있다. "RLHF도 훈련 절차이기 때문에 미세조정 중 지식과 추론 능력만큼 영향을 받는다"라고 전했다.

####

여기서 LoRA로 지속학습 효과를 낼 수 있는 이유는 사실 추가 태스크를 학습할 때 LoRA 파트를 추가시키고 거기만 학습시키는 대신 기존의 몸통에 해당하는 Backbone 네트워크는 프리징을 하기 때문. 이걸 지속학습 용어로는 Parameter Isolation이라고 함. 혹은 새 파라미터가 계속 추가되고 있으므로 Dynamic Architecture로도 볼 수 있음.

사족이지만 LoRA로 지속학습 하는 또 다른 사례는 Stable Diffusion에 다양한 컨셉들을 여러 개의 LoRA에 순차적으로 학습시키는 C-LoRA 방법을 도입한 Continual Diffusion 이라는 모델이 있으니 관심 있으면 검색 ㄱㄱ

그에 반해 이 회사는 파라미터의 부분집합 또는 부분공간만을 미세조정하는 방법을 선택했다고 함.

이것도 어찌보면 Parameter Isolation 방법에 해당하는데, 드롭아웃이랑 비슷하게 일부 파라미터를 프리징시키는 방법이라고 생각하면 됨.

그런데 파라미터 공간 상에서 부분공간을 사용한다고 하면 오히려 Projection 방법에 가까워짐. 대표적인건 GEM이나 OGD 같은게 있음.

기사에 나온 결과만 보면 굉장히 성능 유지가 잘 되고 있는데 솔직히 지속학습은 Replay 방법 제외하면 아직 쓸만한 수준이 아니라던 인식이 있어서 진짜 쓸모 있을지는 앞으로 좀 더 빅테크들의 반응을 지켜볼 필요가 있을 것 같음.

참조: 지속학습 알고리즘의 분류 및 대표 모델들