[📪정보] Stable Cascade 소개

https://stability.ai/news/introducing-stable-cascade

Introducing Stable Cascade — Stability AIToday marks the launch of Stable Cascade in its research preview. This innovative text to image model introduces an interesting three-stage approach, setting new benchmarks for quality, flexibility, fine-tuning, and efficiency with a focus on further eliminating hardware barriers.stability.ai

Stability AI는 오늘 연구용 미리보기로 Stable Cascade를 출시합니다. 이 혁신적인 텍스트-이미지 생성 모델은 Würstchen 아키텍처에 기반하며, 비상업적 용도에 대해서만 허용하는 라이선스 하에 공개됩니다.

Stable Cascade는 독특한 3단계 접근 방식으로 일반 소비자용 하드웨어 상에서도 학습과 미세 조정이 매우 쉽습니다. Stability GitHub 페이지에서는 체크포인트(중간 저장 데이터) 및 추론 스크립트뿐만 아니라 사용자의 실험을 돕기 위한 미세 조정, ControlNet, LoRA 트레이닝 스크립트도 제공됩니다.

오늘 우리는 연구용 미리보기로 Stable Cascade를 발표합니다. 이 혁신적인 텍스트-이미지 생성 모델은 흥미로운 3단계 접근 방식을 도입하여 품질, 유연성, 미세 조정 및 효율성 측면에서 새로운 기준을 제시합니다. 특히 하드웨어 장벽을 더욱 낮추는데 중점을 두고 있습니다. 또한 Stability GitHub 페이지에서는 모델과 그 결과물의 추가 커스터마이제이션을 위한 학습 및 추론 코드를 제공하고 있습니다. 모델은 diffusers 라이브러리에서 추론 가능합니다.

기술 세부사항

Stable Cascade는 Stable Diffusion과 다른 독특한 방식으로 설계되었습니다. 3개의 모델로 구성된 '파이프라인'에 기반한 혁신적인 구조를 지닙니다 (Stage A, B, C). 이 구조 덕분에 압축된 잠재 공간(latent space)를 활용하면서도 놀라운 이미지 출력 품질을 자랑합니다. 각 단계가 어떻게 작용하는지 자세히 살펴보겠습니다.

잠재 변수 생성 단계 (Stage C): 사용자의 텍스트 입력을 이 단계에서 24x24 크기의 간결한 잠재 변수로 변환합니다. 생성된 잠재 변수는 다음 단계로 전달됩니다. 잠재 변수 복호화 단계 (Stage A & B): Stable Diffusion의 VAE와 유사한 이미지 압축 기능을 수행하지만, Stable Cascade에서는 훨씬 높은 압축률을 지원합니다. 조건부 텍스트-이미지 변환(Stage C)을 고해상도 픽셀 변환(Stages A & B) 과정과 분리함으로써 ControlNets, LoRA 등을 이용한 추가 학습/미세 조정을 Stage C 단계에서만 집중적으로 진행할 수 있습니다. 이로 인해 Stable Diffusion 모델 학습 대비 비용을 무려 16분의 1로 절감할 수 있습니다 (원 논문 결과). Stage A와 B도 선택적으로 미세 조정하여 제어력을 높일 수는 있지만, Stable Diffusion에서 VAE를 재학습하는 정도의 제한된 효과가 있을 뿐입니다. 대부분의 경우, Stage C에서의 학습으로 충분하므로, A와 B 단계는 그대로 사용할 것을 권장합니다.Stage C에는 1B/3.6B 파라미터 모델, Stage B에는 700M/1.5B 파라미터 모델을 제공합니다. 품질 최우선이라면 Stage C에 3.6B 모델을 사용하는 것이 좋습니다. 반면, 하드웨어 제약이 큰 경우에 Stage C 에도 1B 모델을 사용할 수 있습니다. Stage B의 경우에도 두 모델 모두 훌륭한 결과를 내지만, 미세한 디테일 복원에서 1.5B 모델이 더 뛰어납니다. Stable Cascade의 모듈식 접근 방식 덕분에 추론 시 예상 VRAM 요구량을 약 20GB로 유지할 수 있습니다. 더 작은 모델을 사용하면 VRAM 요구를 더 줄일 수 있지만, 앞서 언급했듯이 품질 저하는 불가피합니다.

기존 모델과의 비교

평가 과정에서 저희는 Stable Cascade가 거의 모든 모델 비교에서 프롬프트 정확도와 미적 품질 측면에서 최고의 성능을 보임을 확인했습니다. 아래 도표는 다양한 프롬프트를 혼합하여 사람이 직접 평가한 결과를 보여줍니다.

위 이미지는 Stable Cascade (30 추론 단계), Playground v2 (50 추론 단계), SDXL (50 추론 단계), SDXL Turbo (1 추론 단계), Würstchen v2 (30 추론 단계)를 비교한 것입니다.

위 이미지는 Stable Cascade, SDXL, Playground v2, SDXL Turbo 간의 추론 속도 차이를 보여줍니다.

Stable Cascade의 효율성은 모델 구조와 고도로 압축된 잠재 공간에서 두드러집니다. Stable Diffusion XL 보다 1.4억 개 많은 파라미터를 포함하고 있음에도 불구하고 아래 그림에서 볼 수 있듯이 더 빠른 추론 시간을 보여줍니다.

추가 기능

Stable Cascade는 일반적인 텍스트-이미지 생성 외에도 이미지 변형(image variations) 및 이미지-이미지 변환(image-to-image) 기능도 제공합니다.

이미지 변형: CLIP을 이용해 기존 이미지의 임베딩(특징 정보)을 추출한 후, 모델에 다시 전달하는 방식으로 작동합니다. 아래 예시 이미지의 왼쪽이 원본이며, 오른쪽 네 개가 모델이 생성한 변형 이미지입니다.

이미지-이미지 변환: 간단히 이미지에 노이즈를 추가한 결과를 시작점으로 하여 새 이미지를 생성합니다. 아래는 왼쪽 이미지에 노이즈를 적용하고 결과물을 생성한 예입니다.

코드: 학습, 미세 조정, ControlNet, LoRA

Stable Cascade 출시와 함께 이 아키텍처에 대한 연구 활성화를 위해, 저희는 학습, 미세 조정, ControlNet, LoRA에 필요한 모든 코드를 공개하기로 했습니다. 모델과 함께 배포할 ControlNets 중 일부를 소개합니다:

1. Inpainting / Outpainting: 이미지와 특정 영역을 가리키는 마스크를 입력하면, 텍스트 프롬프트에 따라 이미지의 가려진 부분을 채워넣습니다.

2. Canny Edge: 모델에 업로드한 이미지의 윤곽선 정보를 활용해 새로운 이미지를 생성합니다. 저희 테스트 결과, 스케치의 윤곽을 바탕으로 확장시키는 기능도 지원했습니다.

3. 2x Super Resolution: 이미지를 2배로 확대합니다 (예: 1024x1024 이미지를 2048x2048로). Stage C에서 생성된 잠재 변수에도 적용 가능합니다.

자세한 사항은 Stability AI GitHub 페이지와 제공되는 관련 코드를 참조해 주세요.

현재 본 모델은 상업적 목적으로 제공되지는 않습니다. 만약 상업적 용도로 활용 가능한 다른 이미지 모델을 알아보고 싶으시다면, Stability AI Membership 페이지(자체 대규모 설비 지원) 또는 Developer Platform (API 사용)을 방문해주세요.

Stability AI의 최신 소식은 Twitter, Instagram, LinkedIn을 구독하거나 Discord 커뮤니티에 참여하시면 확인하실 수 있습니다.

- Gemini Ultra 번역

----------------------

SDXL이 통짜로 파라메터 수가 존내게 많아서 평균적인 개인용 컴퓨터로는 파인튜닝 학습이 어려웠기 때문에 커뮤니티 내에서 좋은 모델들이 많이 나올 수가 없었는데,

(SD1.5가 성공할 수 있었던 이유는 개인들이 자기들 입맛에 맞는 학습이 비교적 쉬웠기 때문에 폭포수처럼 수많은 파인튜닝 모델들이 우후죽순 나올 수 있었고, 그걸 또 병합하여 무수히 많은 모델들이 나올 수 있었고, 마치 자연선택마냥 거기서 또 좋은 모델들만 살아남고, 그들간의 병합이 이루어지고 또 추가적인 학습이 이루어지고 해서 굉장히 좋은 퀄리티의 인공신경망이 오픈소스에 확보될 수 있었음)

Stability.ai가 딱 그 지점을 명확히 인식하고 있었던 듯, 이번 공개되는 모델은 학습에 필요한 파라메터수를 미친 듯이 대폭 줄였고 그래서 일반 개인들이 쉽게 파인튜닝하고,

여러 LoRA나 ControlNet과 같은 부가적인 기능을 학습하기 쉽게끔 스크립트를 자체 제공까지 해서 SD1.5 임팩트를 도모할 수 있게 함.

졸래 기대 되는 부분

[📪정보] Stable Cascade 소개

댓글 4

다른 게시글