[💬] 내가 해본 AI 픽셀아트 작업법

[Indie(220.117)]

AI 그림 관련해서 떡밥이 있어

제가 작업하고 있는 방식을 간략하게 보여드리려 합니다.

저는 그림 그리는 데 재능이 없어, 완전하게 ai에게만 의존하려 하지만,

그럼에도 최소한의 리터칭만 하고 있습니다.

그림 AI 지식도 깊은 것은 모르고 원하는 그림을 뽑아내는 정도 까지만 알고 있습니다.


1. 픽셀 그림체 - ComfyUI, 픽셀LoRA.

아직 까지는 ILXL 체크포인트 기반으로 그림을 뽑고 있습니다.

(현재 ANIMA가 높은 자연어 인식으로 상용 NovelAI에 약간 모자라게  로컬 그림 AI에서 각광 받고 있지만,

그 이상의 결과물이 필요하지도 않은것도 있지만, 아직 LoRA를 Anima 기반으로 학습하지 않았기 때문입니다.)

LoRA는 자작 LoRA를 사용합니다.
(LoRA가 뭔지 저도 정확히는 모르지만, 
베이스 체크 포인트 모델이 있으면, 특정 그림체 등을 구현하기 위한 더 작은 데이터 셋이라고 보고 있습니다. )

https://civitai.com/models/1788100/pixelart-sakulikeilxl

PixelArt - SakuLike_ILXL - 0.1 | Illustrious LoRA | Civitai

 

좀 더 옛날 체크포인트 방식의 Pony에서 픽셀 아트 관련 로라가 있었는데, 제작자가 ILXL 기반으로 새로 만들지 않아서,

그 체크포인트로 만들어진 이미지들을 학습시켜 만든 LoRA입니다.

각설하고, 해당 LoRA로 결과물을 만들면.

꽤 그럴듯한 결과가 나오죠.

하지만, 이건 픽셀 아트가 아닙니다.

정확히 말하면 픽셀 퍼펙트 하지 않죠.

굳이 확대를 하지 않더라도, 눈썰미 있는 사람들이라면 대충 알았겠지만,

 AI는 맥락없이 그림을 흉내낼 뿐입니다.

8칸에 한가지 색깔만을 이용해 그림을 그려라 같은 명령은 절대 못 알아 듣습니다.

단지, 그런 그림들의 패턴을 파악해 그릴 뿐.

따라서, 그런 흉내낸 그림을 통해서 추가 가공을 해야 합니다.

인디 게임 개발 갤러리 에서도 "픽셀 퍼펙트"라는 키워드로 검색하면
많은 분들이 이 문제에 대해 해결책을 제시한 게 많습니다.

그 중에서
https://www.spritefusion.com/pixel-snapper 
같은 것도 나쁘지 않더라고요.

일단은, 저는 ComfyUI 내에서 해결합니다.

해결책은 어떻게 하느냐에 따라 다르지, 결국 결은 같습니다.

의도했던 사이즈로 픽셀을 줄이고, 색을 제한하는 것.

저는 이 LoRa를 학습할 때, 

96*168 픽셀 아트 이미지를 정확히 8배 키운 768*1344 픽셀 아트 이미지를 학습에 이용했습니다.

따라서, 8배 줄이면 되겠지요. 그걸 ComfyUI내 워크플로우에 포함시켜서 결과물을 내뱉도록 했습니다.

이제 나머지는 리터칭입니다.

진짜 그림 그리는 분들의 재능과 노력 등에 비하면 아무것도 아니라

그냥 노가다 부분입니다.

누끼를 따고, 요런 어색한 부분만 치워주면 됩니다.

2. 일관성. 캐릭터 LoRA

 
하지만 AI그림을 몇장 뽑아보신 분들은 알겠지만.

AI 그림에서 가장 문제가 되는 부분은 일관성이지요.

1girl, skirt, dress shirt, black hair,long hair, hair ornament, jacket, white shirt, open clothes, necktie, glasses, collared shirt,  black skirt, black footwear, black jacket, yellow eyes, sleeves past wrists, parted bangs, covered navel, sleeves past fingers, pencil skirt, high-waist skirt, short skirt,

이라는 일관 적인 태그를 입력 했는 데도 불구하고, 결과물이 제각각입니다.

색깔이 지 멋대로 인건 물론이고, 세부적인 내용에서 계속 틀어집니다. 
누구는 소매가 스웨터 모양이고, 머리핀 모양은 제각각이고.

이를 해결하기 위한 것도 똑같습니다. LoRA 학습입니다.

학습을 위해선 데이터가 필요합니다. 

먼저 그리고 싶은 캐릭터를 만듭니다.

저는 오리지날 자캐를 넣고 싶기 떄문에,

Novel AI에서 가챠를 돌려 이쁜 캐릭터를 뽑습니다.

이후에는, chatGPTP로 캐릭터 시트를 뽑습니다.

GPT가 덕테이프 까지 올라오면서 일관성 측면과 디자인 수정 측면에서 많이 발전해서,

수정도 간편합니다. 

단, GPT 자료로만 학습을 한다면 그림에서 지피티 향기가 너무 진해지기 때문에,

다시 NovelAI로 돌아옵니다.

십덕 그림 퀄리티는 NovelAI가 가장 우수할 뿐더러,

추구하는 그림체를 찾고 유지하는 편도 좋고,

너프 먹어서 구려지긴 했지만, Reference 기능으로 일관성 유지하기도 좋습니다.

단, 지피티 처럼 정말 원하는 자세를 뽑아내려면 시행착오를 많이 겪어야 해서 

저는 Novel AI에서 뽑은 이미지 + GPT로 뽑아낸 캐릭터 시트 앞 뒤 옆 모습 을 레퍼런스로 데이터 셋을 모으는 편입니다.

데이터 셋을 모아 학습 시킵니다.

그러면
픽셀 LoRA와

지금 만들어낸 캐릭터 LoRA를 조합해,

원하는 캐릭터를 픽셀 이미지로 일관성 있게 뽑을 수 있습니다.

3. 번외 - 배경 뽑기

comfyUI로 픽셀 배경을 생성하려고 하면, 

픽셀 배경 데이터셋이 없을 뿐더러, 제가 학습한 것은 768*1344 도트 이미지만을 저격해서 만들어서, 한계가 있는 편입니다.

바로 픽셀아트가 유지가 안되는 모습. 캐릭터 로라가 섞이면 섞일수록 더 잘 안되는 편입니다.




그렇다고 지피티에게 부탁하면,

1) 그림체 불일치
2) 픽셀크기 및 사물과 크기 불일치
3) 색온도 색배합 불일치

 서로 안맞는 아쉬운 그림이 나옵니다.

따로 놀죠.

제가 찾은 방법은, ComfyUI에서 배경을 포함한 인물 사진을 만들고, 그것을 확장만 부탁하는 겁니다.

최대한!!!! 옆으로!!!!!!!!!

그리고 캐릭터를 지웁니다.

해당 이미지를 확대해서 보면...

대략 3배 정도 커진 것을 알 수 있습니다.

3배 줄여줍니다.

의자의 경계선이 조금 무너진 것을 볼 수 있습니다만, 리터칭으로 해결 가능한 부분 같습니다.

캐릭터를 가져와 앉혀보면 위화감이 줄어들었고, 스케일도 일치합니다.

이 배경 부분은 계속해서 더 좋은 방법을 찾아보고 있습니다만, 일단은 여기까지입니다.


----

결론적으로, 제가 취하는 방법은 이렇습니다.

1. 일관성 있는 데이터셋을 모아 학습 시킨다.

2. AI 그림 모델을 최대한 다양하게 활용한다.

3. 열심히 리터칭한다.

그리고 여전히 난관에 봉착해 있는 것은 애니메이션입니다.

이 문제는 Spine등을 활용하는 부분도 있겠지만, 수고 폼이 너무 많이 들것 같아,

최대한 애니메이션이 필요 없도록 게임을 만드려고 하는 편입니다.

감사합니다.

[Indie 1(121.190)]

AI 게임 개발 갤러리로 ㄱㄱ

[글쓴 Indie(220.117)]

눈을떴구나

[Indie 2(27.35)]

어렵구나 어려워

[글쓴 Indie(220.117)]

[DI(tidy5030)]

https://x.com/masuone_
이렇게도
하드라. 이 경우도 애니메이션은 AI 티 나는 게 어쩔 수 없긴 한듯

[DI(tidy5030)]

아마 글쓴이 과정과 유사할 것 같은데 추가적으로 자기가 만든 절차적 이미지 픽셀화 툴을 쓰는 듯

[글쓴 Indie(220.117)]

애니메이션 프레임을 따로 만들고 그 프레임들을 각각 픽셀화 시킨다는 느낌이 강하네... 그래도 나쁘지 않은 듯

[주먹밥머리(enough9986)]

근데 왜 옷 위로 배꼽이... - dc App

[글쓴 Indie(220.117)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[글쓴 Indie(220.117)]

ㄹㅇ 영상 딸깍 하게 해달라고~

[익명(118.39)]

이 정도만 해줘도 솔직히 거부감 크게 느껴지진 않는데 그렇지 않은 케이스가 워낙 많다고 밖엔

[익명(118.39)]

그리고 사실 디테일 많이 들어가면 들어갈수록 프레임에 따라 디테일 깨지면서 생기는 위화감은 영상 AI 자체 이슈라 신규 모델 기다리는 거 말고 답 없는듯

[글쓴 Indie(220.117)]

[글쓴 Indie(220.117)]

지금은 어쩔 수 없음. 어떤 걸 쓰더라도... 새로운 게 나오지 않는 이상

[하루카남편(darkalex0)]

내가 생각하는 AI 그림은 이정도 폴리싱이 들어가는데 ai슬롭은 그저 딸깎~

[글쓴 Indie(220.117)]

[Indie 3(175.212)]

ai를 이용한 그림그리기가 한계가 있는게 우선 2가지로 말할 수 있는데 ai가 그린 것 중 픽셀 흐림을 개발자가 직접 찍어야하는게 사실상 불가능하다고 생각해. 진짜 노가다 하는게 아니라면 말이야. 또 최소한 미술 지식이 없다면 캐릭터 애니메이션 스프라이트라던가, 캐릭터의 모션을 만들때 제약이 엄청 크거든 그래서 사실상 ai가 제대로 뽑아주는게 아닌이상 엄청 힘들다고 봐.

[글쓴 Indie(220.117)]

뭐 그래도 굳이 픽셀 아트로 게임 리소스 작업을 하고 있는 이유는 말 그대로 점 몇 개만 수정하면 되니까...긴 해. 노가다 최소화를 하기 위해서. 후자 부분에서는 애니메이션 같은 거에서 결국 한계를 느끼고 있는 거지. 그래서 아예 애니메이션이 많이 필요 없도록 기획을 짜려는 거고.

[Indie 3(175.212)]

ㅋㅋㅋ근데 결국 점 몇개 리터칭하다보면 내가 이 그림 전체를 그리는 것과 같다고 보긴해 농담아니라 제대로 된 픽셀은 점만 찍는데 나는 6시간 걸리더라.

[Indie 3(175.212)]

사실상 트레이싱

[글쓴 Indie(220.117)]

이래선 ai를 쓰는게 의미가 있을까??? 크아악

[Indie 4(112.185)]

사실상 트레이싱 ㅋㅋ

[글쓴 Indie(220.117)]

도적의 극의

[익명(swing4890)]

제대로 완성하려면 ai 작업이랑 고수가 완성하는거랑 속도 비슷하겠네 ㅋㅋㅋㅋ

[글쓴 Indie(220.117)]

[익명(missile3933)]

맞아 에니메이션이 허들임

[글쓴 Indie(220.117)]

[사가다자(choice2234)]

[글쓴 Indie(220.117)]

[퀼트(mok9181)]

[글쓴 Indie(220.117)]

[익명(remote0709)]

ㄹㅇ 이정도 노력을해야 ai 프로젝트지

[글쓴 Indie(220.117)]

[Indie 5(116.41)]

잘 쓰는 사람은 진짜 다르네요. 자작 LoRA 학습은 뭘로 하는지 여쭤봐도 될까요?

[글쓴 Indie(220.117)]

원래는 컴퓨터 사양 안 좋을때에는 civitai에서 맡겨서 했는데, 요즘은 로컬 학습 합니다.

[Indie 5(116.41)]

답변 감사합니다!

[글쓴 Indie(220.117)]

https://arca.라이브/b/aiart/167638343?mode=best&p=1
(live가
금칙어라서 라이브 글자만 live로 바꿔주세요)
링크 워크플로우 상황에 맞춰 수정해서 사용합니다. anima ILXL 모두 가능하니 상황에 따라 쓰시면 될 것 같습니다!

[익명(missile3933)]

@글쓴 Indie(220.117) pc 사양 알려죠

[글쓴 Indie(220.117)]

@ㅇㅇ NVIDIA GeForce RTX 5060 Ti AMD라면 시도하지 말 것

[익명(coupon2045)]

음 좋은 정보군