[📪정보] 자기지도학습이란 무엇인가요?

[익명(221.166)]

자기지도학습 (self-supervised learning)은 다음과 같습니다.

레이블이 없는 데이터 셋 x에 대해서, pseudo-label y를 만들어

1) input x에 대해 y를 classification (contrastive learning)

2) input x에 대해 y를 prediction (predictive coding)

을 수행하도록 합니다.

중요한 점은 레이블이 데이터 샘플로부터 자동으로 생성된다는 점입니다.

이렇게 되면 거대 모델을 학습하는데 필요한 (일반적으로 해공간이 커지면 데이터는 훨씬 많아져야함) 데이터에 대한 레이블링 작업이 필요 없다는 점에서 강력합니다.

이러한 레이블을 생성하는데는 데이터 x에 대한 도메인 지식이 조금 필요합니다.

NLP의 경우 제 전공은 아니지만 이 갤에서 가장 관심있게 보는 주제이니 여기에다 비유를 해보겠습니다.

일반적으로LM의 경우 predictive coding을 사용합니다 (다음 단어를 예측하도록 훈련).

1) 문장에서 단어의 나열은 당연히 autoregressive 한 성질을 가지고 있다. (문장의 구조와 이전 단어들의 정보의 혼합으로 다음 단어를 예측할 수 있기 때문)

2) 이러한 성질을 이용하여 시퀀스[x1, x2, ... xN]까지의 입력을 받아서 x(N+1)을 예측하도록 훈련하면 문맥에 맞는 글쓰기를 할 수 있지 않겠느냐?

음... 인간이 이렇게 학습을 하진 않지만 어쨋거나LLM은 이러한 시도로 굉장한 성공을 거뒀습니다.

text 데이터는 웹에 무궁무진하게 많이 뿌려져 있고, 이것은 그 자체로 pseudo-labeling 된 데이터였기 때문에 이걸 받아줄 network만 만들면 강력한 모델을 생성할 수 있을 거라고 생각했고, 이러한 network 구조가 바로 transformer입니다.

물론 BERT이후 LLM은 더욱 발전하여 GPT시리즈에 이르러서는 pretraining을 SSL로 학습하고 이후 fine-tuning을 RL로 수행하는 것으로 알고 있습니다.

RL 쪽은 잘 몰라서 아래 링크를 첨부합니다.
저명한 학회에서 이와 관련된 기본 아이디어를 튜토리얼로 공개하고 있으니, 다음 링크를 타고 들어가시면 유용하실 거라 생각합니다.

대충 보니 (출력, 정책)을 학습하도록 하는 지도학습인것 같네요.

https://icml.cc/virtual/2023/tutorial/21554

ICML 2023

그러나 문제는 image / time-series와 같은 데이터에서는 이러한 SSL이 쉽게 적용되지 않습니다.

1) LM과 달리 연속형이고 희소한 data point의 집합을 예측해야하고

2) 주변 풍경에 의해 끊임없이 상호작용하기 때문에 단순한 predictive coding으로는 드라마틱한 성능 향상을 보여주긴 힘들었습니다.

우리는 더 강력한 도메인 지식을 통해 더 근본적인 성분 (component)을 배우고 싶습니다.

예를 들어 이미지에서 특정 사물을 detection하고 이를 분류하거나, 이를 시간에 따라 트레킹하거나 (동영상)

또는 이미지에서 내가 특정한 부분을 조절해 편집하거나 같은 작업을 하고 싶습니다.

이러한 작업을 위해 좀 더 데이터를 변형하고, 변형한 데이터를 잠재공간에서 매우 추상적인 기준에 따라 정렬하고 싶습니다.

우리는 이미지가 회전하거나 조금 일그러지거나 노이즈가 끼거나 좀 잘리거나 한다고 해서 이미지에서 표현되는 물체가 불변이라는 사실을 잘 압니다.

이러한 작업은 인간에게는 너무 당연한 이야기지만, 컴퓨터의 입장에서는 가르쳐줘야 알만한 정보들이겠죠?

따라서 이미지를 자르거나 섞거나 노이즈를 넣거나 회전하거나... 하는 다양한 변환들을 수행하고 이것을 서로 비슷한 공간에 두도록 합니다.

그렇지 않은 데이터들은 멀리 떨어뜨려놓고 싶습니다. 이렇게요.

이게 이미지에서 매우 주목받고 있는 contrastive learning입니다 (SimCLR, 2020). 사실 나온진 좀 되었지만요....

놀랍게도 기존에 사용하고 있던 pretext task보다 메모리를 훨씬 적게 쓰면서도 좋은 표현을 학습할 수 있었습니다.

매우 초보적인 개입이 인과관계를 따라 (회전, crop 등에 대해서 추상화된 '개'라는 표현은 불변) 전체 데이터에 영향을 주더라도 불변의 표현을 학습하게 했더니 down-stream task에서도 높은 성능을 보인 것입니다.

즉, 이미지가 아니라 좀 더 추상적인 '개'와 '의자'를 배운거겠죠? 물론 우리가 생각하는 멀티모달적이고 극도로 추상화된 표현은 아니겠습니다.

이러한 특징 때문에 자기지도학습은 데이터에서 독립적으로 풀린 (disentanglement)component를 추출할 수 있는게 아니냐는 이야기가 있습니다.

풀림에 대한 설명은 아래 글을 참조하시면 좋습니다.

https://csinva.io/blog/compiled_notes/_build/html//notes/research_ovws/ovw_disentanglement.html

1.2. disentanglement

이러한 풀린 표현을 학습하는 것은 더 복잡한 시스템에서의 component를 추론하는데에 도움이 될 수 있습니다.

동적인 인과시스템을 배우기 위해서는 이미지, 시계열 등의 데이터에서 불변 component을 뽑아내고 이를 다양한 방법으로 개입해 인과관계를 알아낼 수 밖에 없습니다.

시계열과 같은 데이터에서는 이러한 component 자체를 분리하기도 너무 어렵기 때문에 추출해내는 일반적인 방법론이 발견된다면 더 다양한 추론을 수행할 수 있겠지만, 여전히 동적 시스템에서 가장 중요한 시계열에 대한 표현학습은 제한적입니다.

이러한 이유로 현재 이미지와 시계열 분야에서 자기지도학습을 통해 불변 표현을 학습하려는 시도가 많아지고 있습니다.

[익명(rechido)]

[익명(165.194)]

여기서 설명한건 unsupervised contrastive learning이지만 레이블이 있으면 있는대로도 contrastive learning을 할 수도 있음

[익명(119.207)]

잘 읽고 갑니다

[익명(114.71)]

재밋네