[📪정보] DALLE2의 학습과정과 장점

[익명(175.113)]

http://adityaramesh.com/posts/dalle2/dalle2.html

아래는 요약이고 위 글을 보는것을 추천.

1. 사용하는 네트워크

1) encoder (CLIP): text,image에 embedding을 대응시킴.
2) prior network: text embedding을 입력으로 받고 image embedding을 출력함.
3) diffusion network (unCLIP): image embedding과 image를 입력으로 받고 image를 출력함.

2. 학습과정

학습에 쓰는 모든 데이터는 (image,text) 쌍으로 이루어져 있음

1) 데이터에서 text와 image의 대응을 통해 encoder 학습. 이는 word2vec과 유사함.
2) prior network 학습. 데이터의 image의 embedding에서 데이터의 text의 embedding을 예측하도록 학습됨.
3) diffusion network 학습. 우선 데이터의 image에서 noise를 조금씩 첨가해서 순수한 noise image가 남을때까지 반복하는 과정을 거침. diffusion network는 이 과정의 정 반대, 즉 noise를 줄이는 것을 학습.
즉, 데이터의 image에 noise가 더 많이 첨가된 것에서 noise가 덜 첨가된 것을 생성하도록 학습. 단, 입력에 데이터의 image의 embedding을 같이 줘서 그거에 따라 생성하도록 함.

3. 실제 사용

1) text가 주어지면 encoder를 사용해 text embedding을 얻음.
2) 얻은 text embedding으로 prior network를 사용해 image embedding을 얻음.
3) 얻은 image embedding과 순수한 noise image로 diffusion network를 사용해 image를 얻음.
4) 얻은 image embedding과 얻은 image로 diffusion network를 사용해 다시 image를 얻음. 그리고 이 과정을 계속 반복. (아래 짤은 그 반복 과정을 나타냄)
5) 최종적으로 얻은 image가 최종 결과물임.

4. DALLE2의 장점

1) prior network라는 것을 따로 사용해서 정확성을 높임
2) image embedding에서 image를 얻을 때, 한번에 하지 않고 noise를 서서히 줄이는 과정을 통해 여러번에 걸쳐서 함으로써 퀄리티를 높임.

[ㅇㅇㅇ(14.38)]

[익명(rechido)]