[📪정보] 큰거 왔다. MIT,구글,OpenAI 공동 연구, 데이터 부족의 종말

[익명(222.108)]

*어렵거나 시간없는 사람들은

맨 아래쪽에 4줄 요약 있음!

논문 제목 : LEVERAGING UNPAIRED DATA FOR

VISION-LANGUAGE GENERATIVE MODELS VIA CYCLE CONSISTENCY

저자 :

1.MIT CSAIL

2.Mila

3.Google Research

4.Google DeepMind

5.OpenAI

공개 일시 : 2023.10.05 https://browse.arxiv.org/pdf/2310.03734.pdf

Abstract 요약

1. 현재 비전-언어 모델은 방대한 이미지-텍스트 짝 데이터에 의존하고 있음.

• 2. 하지만, 웹 스크래핑을 통해 그런 방대한 데이터를 기계적으로 수집하기 때문에 저품질과 이미지-텍스트 연관성이 부족한 문제가 발생함

• 
  

• 3. 인간이 직접 주석을 다는 방법이 보다 정확하지만, 엄청난 인력과 비용이 요구됨

• 
  

• 4. 이 문제를 해결하기 위해 본 논문에선 ITIT(InTegrating Image Text)라는 방식을 제안함

• 
  

• 5. 기존에 '짝을 맞준' 이미지-텍스트 데이터로 학습하던 것과 달리, '짝이 없는' 이미지, 텍스트 데이터로 학습을 하는 혁신적인 학습 패러다임임.

• 
  

• 6. ITIT는 이미지-텍스트 인코더와 텍스트-이미지 생성 모델을 양방향으로 합쳐놓은 단일 프레임워크임.

• 
  

• 7. 학습하는 동안, ITIT는 적은 수의 이미지-텍스트 짝 데이터로 아웃풋이 인풋과 잘 매칭이 되는지 확인하도록 함.

• 
  

• 8. 동시에, 모델은 이미지나 텍스트 둘 중 하나만 있는 훨씬 더 큰 데이터셋에서도 학습함.

• 
  

• 9. 이는 원래 짝이 없는 샘플과 사이클 상에서 생성된 것들 사이의 'cycle consistency'를 맞추도록 강제하여 이루어짐.

• 
  

• 10. 예를 들어, 주어진 이미지(input)에 대한 캡션을 모델이 생성하고, 이 생성된 캡션을 가지고 또 이미지를 다시 생성(output)한 다음, input과 output 사이의 유사도가 높도록 강제하는 식으로 학습이 이루어짐.

• 
  

• 11. 본 논문의 실험결과, ITIT를 사용해 짝이 없는 데이터셋으로 학습한 결과가 '고품질의 짝이 있는 데이터'를 사용한 것과 비슷한 수준의 스케일 법칙을 따르는 것으로 밝혀짐.

• 
  

• 12. 본 논문에서는 최고의 텍스트-이미지, 이미지-텍스트 모델과 동등한 성능을 보이는데 훨씬 더 적은 '짝 지어진' (오직 3M개)의 데이터만 있으면 된다는 것을 증명함.
  

본문 요약

• 기존 이미지-텍스트 생성 모델들의 학습에는 수백만개에서 수백억개의 '짝 지어진' 이미지텍스트 데이터가 필요했습니다.

• 여기서 우리는 한 가지 자연스러운 질문을 할 수 있습니다 : '우리가 '짝이 없는' 이미지와 텍스트 데이터를 비전-언어 모델 학습에 활용할 수 있는 방법은 없을까?'

• 우리는 이를 해결하기 위해 'ITIT'를 제안합니다. ITIT는 'Cycle consistency losses'를 사용하는 새로운 학습 패러다임입니다.

• 위 그림에서 볼 수 있듯, ITIT는 주어진 '짝이 없는 텍스트'에 대해 T2I 모델을 거쳐 합성된 이미지와 '합성된 이미지에서 I2T 모델을 거쳐 만든 텍스트' 사이의 Reconstruction Loss를 최소화하는 방식으로 학습됩니다. 이미지의 경우도 같은 원리입니다. (*T2I : Text to Image, I2T : Image to Text)

다양한 벤치마크를 통해 ITIT의 성능을 점검해봤습니다. ITIT는 기존의 non-cycle 베이스라인과 비슷한 점수를 얻었지만, ITIT는 기존보다 훨씬 더 적은 데이터만을 사용해서 얻은 성과입니다.

기존보다 '#paired data'가 훨씬 더 줄어들었음에도 비슷한 성능을 보임

• ITIT 학습과정을 보여준다. 캡션을 통해 이미지를 생성->생성된 이미지에서 캡션을 생성->생성된 캡션에서 이미지를 생성.... 이 Cycle을 반복하며 reconstruction loss를 최소화하는 식으로 학습을 진행한다.

결론

• 이 논문에서는 '짝이 없는' 이미지와 텍스트 데이터를 비전-언어 생성 학습에 활용하는 새로운 학습 방식을 처음으로 제시했다.

• 여러 실험 결과 T2I2T cycle과 I2T2I cycle은 텍스트-이미지, 이미지-텍스트 합성 성능을 효과적으로 개선한다는 것을 증명했다.

• ITIT는 SOTA 비전-언어 생성 모델들과 경쟁할만한 성능을 보여줬지만, 학습에 사용한 '짝 지어진' 이미지-텍스트 샘플은 단 3M개에 불과했다.

• 우리가 제시한 방법은 '짝 지어진' 이미지-텍스트 데이터가 조금은 존재해야 사용할 수 있다. 또한 짝 지어진 데이터의 품질이 낮을 때 특별히 더 많은 도움이 된다.

• 추후 연구에서는 ITIT를 더 많은 '짝이 없는' 이미지와 텍스트 데이터를 사용하여 규모를 넓혀가는 한편, 더 큰 모델과 더 다양한 데이터셋을 사용해볼 예정이다.

내용들이 하나하나 다 중요해서 많이 못 줄였다.

4줄로 요약해봄.

1. 기존 비전-언어 모델 학습에는 당연히 짝 지어진(paired) 이미지-텍스트 쌍이 학습 데이터로 필요했음

2. 그런데 짝이 없이 이미지, 텍스트 단독으로만 있는 (unpaired) 데이터를 학습에 사용하기 위해, 예를 들어 텍스트 데이터라면 텍스트 데이터를 토대로 T2I 모델로 이미지를 생성 -> 생성된 이미지로 I2T 모델로 텍스트 캡션을 생성하고 원본 텍스트와 생성된 텍스트 캡션간의 reconstruction loss를 최소화하는 방식으로 cycle training을 진행함

(ITIT 과정)

3. 그 결과 기존 수억~수백억개의 paired 이미지-텍스트 쌍이 사용됐던 연구들과 달리 단 300만개의 이미지-텍스트 쌍과 5500만개의 짝이 없는 이미지, 텍스트 데이터만을 가지고도 기존과 비슷한 성적을 기록함

4. unpaired data에 대해서도 기존 paired data와 마찬가지로 '스케일 법칙'이 그대로 적용됨을 확인함. 따라서 추후 연구에서 모델을 더 크게 만들고 훨씬 더 많은 unpaired dataset을 사용해서 얼마나 성능이 증가하는지 확인할 예정이라고 함

개인적으로 GPT-1 논문 처음 읽었을 때랑 비슷한 느낌이었음

앞으로 이쪽 분야 연구방향이 많이 달라질 수도 있는 중요한 논문이라고 생각했다.

이제 그냥 텍스트-이미지 쌍이 아니라 각각 있는 데이터로도 비전-언어 모델을 학습시킬 수 있게 된거임.

이 세상에 존재하는 Unpaired 데이터가 얼마나 많은지 생각해보면, 엄청난 성과라고 본다.

[부패하는유전자!!!(sansss2015)]

좆됐네....

[부패하는유전자!!!(sansss2015)]

이건 진짜 큰 진보가 될수도 있겠다

[은바다(nmra3fmzhxmg)]

[부패하는유전자!!!(sansss2015)]

[포스트휴먼.(ysoo75430)]

[익명(bluewarp)]

[익명(125.178)]

2023

[익명(sky0204)]

텍스트 데이터만으로도 이미지 학습이 가능 하다는건데 이러면 데이터 부족 문제는 없겠네?ㄷㄷ 그러면 더 연구 되면 특정 문장만으로 영상을 학습 시키는것도 가능한거임? 그러면 합성 데이터가 훨씬 더 늘어날 수 있는건가

[익명(222.108)]

비디오쪽으로 확장도 나중엔 충분히 가능할듯

[익명(sky0204)]

와 이러면 자율주행도 실제 주행 데이터 없이도 사람처럼 그냥 학습이 가능해 진다는거 아닌가 미쳤네 ㅋㅋ

[ㅇㅋ(ijh2005)]

Gpt3.5나왔을때 걔한테물어봤던 아이디어긴한데 대체 어캐실현했누ㄷㄷ

[익명(222.108)]

이미지, 텍스트 생성 모델들의 성능이 인간 수준에 근접하거나 넘어선 것이 첫번째 이유고, 두 번째는 추론 계산량을 엄청나게 최적화해서 가능

[YorushiKanyewest(yorushika12)]

어?

[엔틸콩(wls34199)]

와 사람같다 사람의 기억도 이미지, 오디오를 그대로 받아들인다기 보다는 언어화해서 기억하고 회상할 때 다시 압축 풀 듯 풀어내는데

[은바다(nmra3fmzhxmg)]

[익명(116.36)]

[네덕근첩(naverduck1234)]

오 시발 개참신하노

[네덕근첩(naverduck1234)]

인풋 아웃풋 반복하면서 핵심요약 도달하는거네

[라이따잇(qwer1030123)]

Coming Soon - dc App

[MoonChild(aowlr2001)]

[익명(873dvejis77)]

와 미쳤다 진짜

[익명(hangulnick0)]

[익명(180.65)]

이게 재귀학습이랑 어떤 연관이 있는 거임?

[익명(222.108)]

사실 좀 어그로성으로 끌어봄

[익명(180.65)]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 그래도 되게 참신한 기법인듯

[익명(222.108)]

오해 소지가 있어서 제목바꿨음

[익명(222.108)]

어떻게 이게 기술적으로 가능한건지에 대한 논문 내 설명 : ITIT의 기술적인 문제는 sota 텍스트-이미지, 이미지-텍스트 생성 과정에는 여러 단계가 필요하다는 것입니다. (생성에 시간과 자원이 오래 걸린다) 이런 과정들에 모두 역전파 경사도를 계산하면 엄청난 메모리와 컴퓨터 과부하가 발생합니다. 이 문제를 해결하기 위해 T2I2T 사이클의 경우 먼저 이미지를 병렬 디코딩으로 생성합니다. 그리고 경사도의 역전파를 병렬 디코딩 과정의 단 한 step을 통해 계산합니다. 이를 통해 cycle 학습의 계산 과부화를 엄청나게 줄일 수 있었습니다.

[익명(218.144)]

이 말대로면, 기존에 말하던 학습할 데이터가 고갈되고 있다는 문제랑, 양질의 데이터가 적고 만들려면 비용이 많이 든다는 문제. 이 두 가지가 해결되는거지??

[익명(222.108)]

ㅇ ㅇ ㅇ 그냥 웹에서 긁은 데이터보다 AI 모델로 생성한 데이터들의 품질이 더 높아졌음

[익명(222.108)]

2개 이상 모달리티가 포함되는 멀티 모달들의 학습에 큰 도움이 될 듯

[익명(61.255)]

고갈되고 있던건 양질의 텍스트 데이터 아님? 이거는 그냥 수동으로 멀티모달 데이터들 라벨링 해야했던 문제만 해소한 거 아닌가 이것도 큰거같긴한데 암튼

[익명(rechido)]

cycleGAN에서 쓰던 아이디어인데 LLM에 적용한건가보네

[익명(222.108)]

아이디어 자체는 기존에 있었지만 그걸 기술적으로 가능하게 최적화 + 개별 생성 모델들의 성능이 많이 올라와서 실제 전체 모델 성능 향상으로 이어진 결과를 증명했다는데 의의가 있을듯

[익명(kanal)]

[익명(refresh2ca16)]

신박하노

[디시콘발사대(fcbjsjmu1t9f)]

[익명(175.193)]

오토 인코더넹