1. ํฌํ ์ต์ผ๋ก ํฉ์ฑํ ์ฌ์ง์ ๋์ถฉ ๊ฐ๋ค ๋ถ์ธ๋ค. (์ ๊ตํ ํ์ ์๊ณ ๋์ถฉ ์์น๋ง ๋ง์ผ๋ฉด ๋จ.) ํฉ์ฑํ ์ ๋นํ ์ฌ์ง์ด ์๋ ๊ฒฝ์ฐ์๋ ์ฌ์ง์ด ๋์ถฉ ์์ผ๋ก ๊ทธ๋ ค๋ ๊ฐ๋ฅํจ.
2. StableDiffusion(๋๋ DallE)์ img2img๋ฅผ ๋๋ฆฐ๋ค. (ํฉ์ฑํ๊ณ ์ถ์ ๋ถ๋ถ๋ง ๋ง์คํน) ์ด๋, noise ๊ฐ๋๋ฅผ ์ ๋นํ ์กฐ์ ํด์ผ ํจ. ๋๋ฌด ๋์ผ๋ฉด ์ด์ํ๊ฒ ํฉ์ฑ๋จ. ๋๋ฌด ๋ฎ์ผ๋ฉด ํฉ์ฑ์ด ์๋จ.
3. ์๋์จ ์ฌ์ง์ ๊ณ ๋ฅธ๋ค. ์ฌ๋ฌ ๊ณณ์ ํฉ์ฑํ๊ฑฐ๋ ์ข ๋ ์์ /๋ณด์ํ๋ ๋ฑ, ํ์์์๋ ์์ ๊ณผ์ ์ ๋ค์ ๋ฐ๋ณตํ ์ ์์.
4. ๋
์๋ ์ฌ์ง์ ๋๋จธ๋ฆฌ์ธ ์ ๋ช ์ธ์ ์ ๋ฐฉ๋ฒ์ผ๋ก ๋จธ๋ฆฌ๋ฅผ ํฉ์ฑํ ๊ฒฐ๊ณผ๋ฌผ. 4๊ฐ ํฉ์ฑํ๋๋ฐ ํฉ์ณ์ 30๋ถ ์์ชฝ์ผ๋ก ๊ฑธ๋ฆผ. ๋๋ ๋จ์ํ ๊ฐ๋ค ๋ถ์ด๋ ๊ฑฐ ์ธ์ ํฌํ ์ต๋ ์ ๋ชจ๋ฅด๊ณ ํฉ์ฑ ๋ฑ์ ํ๋ฒ๋ ํด๋ณธ ์ ์ด ์๋ ์ผ๋ฐ์ธ์ธ๋ฐ, ๋จ์๊ฐ์ ๋น๊ต์ ์์ฐ์ค๋ฌ์ด ํฉ์ฑ์ด ๋์์. img2img๋ ํ๋กฌํํธ์๋ง ์์กดํ๋ ๊ฒ์ด ์๋๋ผ ์์ ์ฐจ๊ณ ํ ๊ทธ๋ฆผ์ ์ฃผ๊ณ ์ํ๋ ๋๋ก ์์ฑํ ์ ์๊ธฐ ๋๋ฌธ์ txt2img๋ณด๋ค ๋์ฑ ๊ฐ๋ ฅํจ.
๋ฒ์ธ๋ก๋, ์ต๊ทผ ๋์จ ๋จ์ผ ํ ํฐ fine-tuning ๊ธฐ์ ์ ์ด์ฉํ๋ฉด ๋์ฑ๋ ๋น ๋ฅธ ๊ฒฐ๊ณผ๋ฌผ์ ๋ผ ์ ์์ ๊ฒ์ผ๋ก ๋ณด์. ๋ค๋ง ์์ง๊น์ง๋ vram 20gb๋ฅผ ์๊ตฌํ๋ ๋ฑ ์ปดํจํ ์ฑ๋ฅ์ด ๋ง์ด ํ์ํด์ ๋๋ ํด๋ณธ ์ ์์.
ํน์ StableDiffusion ๋๋ ธ๋๋ฐ ์ด๋ก ์ด๋ฏธ์ง๋ง ๋จ๋๊ฑฐ ์ด๋ป๊ฒ ํด๊ฒฐํ๋์ง ์์?
Precision ์ค์ ์ ๋ฐ๊ฟ๋ณด์ .
์ฑ์งํผํฐ ํ๋ฌ์ค, ์ ๋ฏธ๋ ํ๋ก ์ต๋ 70ํ๋ก ํ ์ธ
https://zoainfo.com/?p=67