[일반] gpu 사용량

[익명(202.14)]

이거 정상입니까?

모델은 rnn transducer 돌립니다.

이거 hdf5 chunk로 가져오는 거라, cpu 병목이나 io 병목은 아닙니다. 타임 로그 찍어서 확인해 봤읍니다. 시간을 거의 미분할 때 다 씁니다.

원래 rnn(gru)레이어가 gpu를 저렇게 밖에 사용을 못하는 건가요?

저 gpu 낭비를 줄이면 속도를 5배는 빠르게 할 수 있을거 같은데... 방법 없나요?

- dc official App

[익명(202.14)]

참고로 rtx3060ti 쓰고 메모리 부족해서 배치 32를 8개씩 4개로 잘라서 사용 중입니다. - dc App

[익명(223.38)]

필요한만큼만 쓰는거라 정상임

[익명(118.235)]

답변 고맙숨다. 아... 3090 싼거 올라왔었는데 살껄... 괜히 "장인은 도구 탓을 하지 않는 법" 이 지랄 떨었네... ㅜㅜ - dc App

[익명(39.7)]

혹시 학습할 때 optimizer.zero_grad()나 validation 할 때 with torch.no_grad()하셨나요? 특히 .zero_grad()는 적절한 위치에 안넣으면 gpu 메모리가 폭발하더군요

[익명(39.7)]

텐서플로는 모르겠는데 토치는 중요했습니다.

[익명(118.235)]

아 이번에 tf 써서 grad 초기화는 그냥 tf.zeros_like(model.trainable_variables)로 했어요 - dc App

[익명(39.7)]

코드상 문제가 없다면 colab으로 해보는 것도 좋아요. 매달 결제하긴하는데 gpu메모리 40기가 제공해줘서 메모리 걱정 없이 쓰고 있습니다.

[익명(202.14)]

40gb!? pro+ 쓰시나요? - dc App

[익명(39.7)]

네 저는 프로+ 쓰고 있습니다. 호구잡힌거라는 사람들도 있던데 gpu 사용량 줄이려고 코드 최적화 노가다하던 시간을 안써도 되어서 만족하고 있습니다.

[익명(202.14)]

gpu 원가 뽑아먹어야 돼서. 1달 정도 혹사 시키렵니다 ㅋㅋㅋㅋ. - dc App

[익명(222.100)]

정상임 100% 계속 찍는건 채굴 빼고 본적이 없음

[익명(14.39)]

CycleGAN 돌리니까 계속 100% 찍더라

[익명(202.14)]

아.. 그렇구나.. 솔직히 비정상이길 바랬음.. - dc App