PIXART-α: FAST TRAINING OF DIFFUSION TRANSFORMER

FOR PHOTOREALISTIC TEXT-TO-IMAGE SYNTHESIS

https://arxiv.org/pdf/2310.00426.pdf

https://pixart-alpha.github.io/


중국 화웨이가 제 1저자로 2023년 9월 30일에 작성한 논문

이 논문의 PIXART-α는 기존 텍스트-이미지 SOTA 모델들 대비 훨씬 적은

훈련 비용과 시간으로 품질은 유지하는 성과를 거뒀음

(저자들은 Midjourney와 생성 품질 비빈다고 주장)


7cf3c028e2f206a26d81f6e343857c64


말도 안되게 줄어든 학습 비용과 시간 ㄷㄷ...


7ef3c028e2f206a26d81f6e147807468

#Images 보면 기존 모델들보다 훨씬 적은 이미지를 학습에 쓴 걸 알 수가 있음

그러면서 어떻게 성능은 유지할 수가 있었을까?



7ff3c028e2f206a26d81f6e74585726476

다른 이유들도 있지만,

기존 Text-image 데이터셋에서 매겨져 있던 Raw caption에는

잘못 된 정보가 담겨있거나, 정보가 너무 부족하거나 하는 등의 단점이 있었음

이걸 LLaVA로 Auto-labeling해서 이미지 캡션의 정보량 자체를 늘려버리고

학습에 사용하니 필요한 데이터양이 엄청 줄어들게 된 것


이제 사람이 열심히 키보드 두드리면서 캡션다는 것보다

비전-언어 모델이 딸깍해서 나오는 정보의

정확도와 신뢰성이 그만큼 증가했다는거지


거기에 오픈소스고 모델이 그렇게까지 무겁지도 않으니

연구에 큰 도움이 되고 !


최근에 이런 식으로 다른 AI 학습하는데 쓰이는 데이터를

AI로 만들거나 정제해서 효과 많이 보는 논문들이 많이 나오더라.


아래는 PixArt로 딸깍해서 나온 결과물들


79f3c028e2f206a26d81f6e444877169f475