[일반] 생성모델 학습 개인컴으로 가능하냐

[ㅇ(210.99)]

4090사도 24기가인데 이거면 cifar10 정도밖에 학습 못시키는거 아님? 

최대 64x64까지가 마지노선일거 같은데 

[익명(122.45)]

Gradient accumulation 찾아봐라 그리고 생성모델은 요새 다 diffusion 쓰는데 제대로된 모델은 파라미터 billion 급임

[ㅇ(210.99)]

accumulation은 하기 싫음.. 배치사이즈 2배 늘릴려고 학습속도 2배 느려지면 자괴감들듯

[익명(122.45)]

학습속도 그대론데 뭔소리임

[ㅇ(210.99)]

어큐뮬레이션이 배치 1번에 계산 못하니까 n번 나눠서 forward backward하는거 아님? 그래서 누적된 그라디언트로 1번 업데이트하는거 말하는거 아니야?

[익명(122.45)]

ㅇㅇ 배치사이즈 2배 늘릴때 accumulation 2로 준다고 가정해봐 똑같음 배치 사이즈 자체를 늘리는게 아님

[익명(122.45)]

대충 gpu에서 가장 잘돌아가는 배치 사이즈 찾아서 accumulation을 주면 거기에 배가 되어서 돌아가는거임

[ㅇ(210.99)]

ㅇㅇ 그렇게하면 너무 느리잖아...ㅠ 뭐 그래도 학습 가능하긴 하겠네