[일반] cuda out of memory

[익명(210.178)]

파이토치 쓰고

rtx 3090 2 way with nvlink 인데

자꾸 cuda out of memory 뜸

보통 님들이 해결한 방법들 나열 좀 ... 부탁드립니다

[익명(14.37)]

배치사이즈 줄임 sequential data면 sequence 길이 제한 답이 없으면 모델 사이즈 줄임 ㅠ

[익명(14.37)]

+ mixed precision training 했음?
https://pytorch.org/docs/stable/notes/amp_examples.html
float32
-> float16로 학습

[익명(203.230)]

그냥 말그대로 메모리 없다는건데 방법이 있나 배치로 해결 안되면 어떻게든 줄이는 수밖에 없지