[📜일지] ComfyUI 학습해보기 #1

[Indie(211.47)]

먼저 작업관리자 - 성능 - GPU 들어가서 내 컴퓨터의 GPU를 확인해본다 (나는 RTX 3060 Ti 사용 중)

그리고 캡쳐해서 챗GPT한테 이 GPU로 로컬에서 ComfyUI 돌릴 수 있는지 물어봄.

챗GPT 말로는 8GB라서 무거운 모델은 어려울 수 있는데 SD1.5 기반 픽셀아트 모델/LoRA는 가능하다고함

그리고 챗GPT가 최신 드라이버로 업데이트부터 하라고해서 엔비디아 앱 통해서 업데이트부터함

(1) 설치 위치 정하기

(2) 7-Zip 설치 (ComfyUI Portable의 압축 해제를 7-Zip으로 하라고 안내하고 있음)

(3) https://docs.comfy.org/installation/comfyui_portable_windows 에서 ComfyUI Portable 압축파일 받기

압축파일 1.9GB, 압축해제 후 전체 3.9GB

(4) run_nvidia_gpu.bat 배치파일 실행

잠시 후 이런 ComfyUI 웹 버전이 실행됨

그리고 설정에서 언어를 한국어에서 English로 바꿔줌.

챗GPT랑 계속 얘기하면서 작업해야하는데 얘가 계속 영어 이름으로 알려주기 때문에...

이제 체크포인트 모델을 다운받으라는데 뭐가 좋은건지, 어떻게 판단해야하는건지 참...

일단 챗GPT가 Hugging Face 또는 Civitai에서 찾아보라고 해서 찾은게

https://civitai.com/models/4384/dreamshaper 이 체크포인트 모델임 (좋아요 수도 많은거 보면 범용적으로 많이 쓰는듯)

https://civitai.com/models/44960/mpixel?modelVersionId=52870 로라는 딱 이 느낌이 좋아보였음

근데 이 체크포인트 모델은 실사화 이미지까지 커버하는 그런 모델이란 말이지?

근데 나는 픽셀아트의 로라를 적용할거고, 검색해보니까 픽셀아트 전용에 맞게 학습된 체크포인트 모델도 있더라고

그래서 실사화까지 커버하는 범용 체크포인트 모델에 픽셀아트 로라를 얹는거랑

픽셀아트 전용으로 학습된 체크포인트 모델에 픽셀아트 로라를 얹는거랑 비교하면은

후자가 더 안정적인거 아니냐? 전자는 픽셀아트 같지 않은 이미지도 나올 수 있는거 아니냐? 라고 근원적인 질문을 해봤는데

라고 얘기하니까, 일단 챗GPT 말을 믿어보고 실사화까지 커버하는 범용 체크포인트 모델을 다운받았음

체크포인트 모델인 dreamshaper_8.safetensors 파일은 ComfyUI/models/checkpoints/ 위치에 놓아주고

로라 모델인 pixel_f2.safetensors 파일은 ComfyUI/models/loras/ 위치에 놓아준 뒤에

ComfyUI 새로고침

왼쪽 탭에서 Nodes 선택하고 원하는 노드 이름을 검색해서 클릭하면 워크플로우 씬에 해당 노드가 배치됨

체크포인트 모델도 dreamshaper_8이 잘 선택돼있음

챗GPT가 위의 노드들을 위와 같은 방법으로 워크플로우에 배치하고 서로 연결하라고함

(참고로 로라 적용 안하고 그냥 체크포인트 모델로만 이미지를 뽑아보는 단계임)

챗GPT가 하라는 대로 연결을 하고, 프롬프트와 각 노드별 세팅값도 추천받아서 입력한 뒤에

상단에 Run 버튼을 누르면 Load Checkpoint 노드부터 마지막 Save Image 노드까지 파이프라인이 진행되면서 이미지가 딱 나옴

생성된 이미지는 ComfyUI/output/ 폴더에 자동으로 저장됨

이게 지금 단계에서 나오는 이미지 수준임ㅋㅋ

아까 파이프라인에서 Load LoRA 노드를 추가한 뒤에, 기대를 안고서 이미지를 뽑았는데 퀄리티가 저 수준임

이후에 로라 모델 소개 페이지에 적혀있는 내용들을 챗GPT에게 전달한 뒤에

피드백을 받았는데도 뭐 결과물이 크게 다르진 않았음

샘플 이미지 클릭해보라고 해서 봤더니 오른쪽처럼 Generation data가 나오는걸 알게됐음.

사용된 Checkpoint 모델과 프롬프트, 각종 세팅값들을 이제야 확인한거임

(챗GPT는 항상 문제가 발생하면 답을 알려줌)

그러고서 챗GPT 계속 후두려 패면서 샘플 이미지랑 똑같은 환경을 재현하려고 노력 끝에 나온게 저거임

마지막에 챗GPT가 하는 소리가 이거임...

오늘은 여기까지만. 그래도 ComfyUI 어떻게 쓰는건지 대충 감이 오는거같음

[하루카남편(darkalex0)]

선생님 글에 흰배경 지워주심 안댈까요 - dc App

[글쓴 Indie(211.47)]

앜 티스토리에서 먼저 정리하고 복붙하다보니 그렇게된듯 지금 수정했는데 정상임?

[글쓴 Indie(211.47)]

뭐 수정됐겠지... 자러가봄

[하루카남편(darkalex0)]

@글쓴 Indie(211.47) 아뇨 아직도 글이 배경이 있어서 안보여요ㅠㅠ - dc App

[Indie 1(211.184)]

A11111 WebUI 버전과 Comfy UI 둘다 써봣지만 너무 어려워서 손이 잘 안가더라.. 뭐 체크포인트, 로라, 컨트롤넷 뭐 이런 개념으로 어떻게 써야된다라는것까지 이해는 간다만. 막상 내가 돌리면 퀄리티가 처참해서... AI도 컴퓨터 비전 영역이라 개떡같이 알려주고 결국 내가 직접 돌려보면서 감을 익혀야되는데 저게 블랙박스 영역이라.. 몇 백번씩 돌려보면서 익히는거 아닌이상 이론적으로 납득 가능한 영역이 아니라는거.. 코드는 적어도 원인과 결과가 딱딱 나눠져있고 에러가 생기면 디버깅해서 확인하면되지..

[Indie 1(211.184)]

저 스테이블 디퓨전은 일단 기본적인 디퓨전 모델의 구동 원리의 기본적인 개념은 잡고 만들어야 스트레스 안받고 사용할 수 있다라는거.. 아무것도 없는 상태에서 AI가 만들어주는 개념이 아니라 엄청나게 깔린 노이즈에서 프롬프트 + 모델이 학습한 가중치에 따라서 노이즈를 제거하는 방식이라는 사실..