GPU 4대 쓰는 서버에서 batch size 8로 하면 모든 GPU VRAM 다 꽉차는데

batch size을 2배 줄여도 각 GPU 당 VRAM 사용량이 5GB밖에 안줄어서 걍 모델 크기 문젠가 싶긴해서

LDM이 모델 크기를 경량화시켰다고 나와있길래 논문에 나와있는 모델을 LDM으로 바꿔서 fine tuning 할까 하는데 어떤 면에서 LDM이 경량화 되어있다는거임? 걍 U-Net을 pixel space가 아니라 latent space에서 훈련하니까 그런거?