지금 wgan-gp로 이미지 생성 코드를 짰는데 글카 vram 한계때문에 계속 쿠다 메모리 부족 오류 떠서 해상도랑 배치크기 중 뭘 줄일지 고민중임... 일단 배치크기를 1로 하고 해상도를 512x512로 하면 vram 23.8GB 먹어서 진짜 딱코로 간신히 돌아가긴해. 근데 내가 궁금한건 배치크기를 1로 해도 괜찮은가? 이게 궁금함.
물론 당연히 배치크기가 1이되면 분산이 0이되서 안쓴것만도 못한수준이 된다는걸 알아가지고 생성자에는 인스턴스 정규화를, 판별자에는 스펙트럴 정규화를 먹이고 실행해봤더니 잘 되긴하더라고. 얘네는 배치크기에 영향을 안받는 애들이라 상관이 없다고는 하던데 괜찮은거 맞겠지?
그리고 질문 하나 더 있는데 gan같은 경우는 보통 몇에포크 정도를 돌려야 되는거? 논문 몇편 읽어봐도 다 자기들 목적에 따라서 에포크가 수백 ~ 수천이던데 수백번은 이해해도 수천은 과적합이 안나나?
1. 잘되면 상관없음 2. 생성모델은 과적합 잘안남
ㅇㅎ... ㄳㄳ