to(device)로 GPU 고정시켜놓고 했는데
전용 GPU메모리는 있는데 사용률이 0인건멀까요
사진 추가합니다. 메모리 53퍼인상태에서 GPU만 왔다갔다하네요.. 참고로 RTX3090인데 저속도가 말이.안되서..
CpU는 라이젠5 5600입니다.
to(device)로 GPU 고정시켜놓고 했는데
전용 GPU메모리는 있는데 사용률이 0인건멀까요
사진 추가합니다. 메모리 53퍼인상태에서 GPU만 왔다갔다하네요.. 참고로 RTX3090인데 저속도가 말이.안되서..
CpU는 라이젠5 5600입니다.
학습코드가 제대로 돌아가고 있다는 가정 하에, gpu 메모리는 올라가 있는데 유틸이 안나오는 건 1) CPU 연산에서 보틀넥이 있거나 2) IO 과정에서 보틀넥이 있거나 둘 중 하나임. 유틸 계속 보면서 중간중간 올라가는 거 보면 앞의 원인 중 하나인 거고 계속 0퍼면 학습코드가 제대로 안 돌아가고 있다는 거임
CPU도 12~16까지밖에 이용률이 안나오는데 병목일수도 있나요? GPU가 계속 와리가리는하네요(0 ~ 26퍼)
Gpu 유틸 그 정도 나오는 거면 그냥 님 학습코드 자체가 연산량이 많지가 않아서 그런 듯?
근데 너무 느리게 학습되는데.. 엄청 오래걸려요 ㅋㅋ 코랩에서 느려서 RTX3090산건데...
음 글쎄여, 일단 gpu 유틸 나오는 거 보면 일을 안하고 있는 건 아니니까 코드를 봐야할 것 같은데 일단 코드에는 문제가 없다는 가정 하에 어디서 연산이 오래 걸리는 지를 중간중간에 breakpoint로 찍어가면서 확인해보시죠. 주로 검사할 구간은 1. Dataloader에서 데이터 가져오는 과정 2. 데이터가 모델에 들어가서 나오는 과정
3. 옵티마이저로 업데이트 하는 과정 위에 세 과정 중에서 2번이 말도 안 되게 오래 걸리는 거면 모델 파이프라인의 forward를 쭉 확인하시면서 뭐가 오래 걸리는지 파악하시는 식으로 해보시죠
CPU가 계속 15퍼 밑에서 놀아서 배치처리하는 GPU 전에 CPU쪽에서 학습이 안되서 늦는다는데 CPU 이용률 높이는 방법이 오버클럭일까요??
밑짤 코랩임? 주피터노트북임?
코랩하다 느려터져서 RTX3090사고 주피터로 돌리는중.. 근데 왜 더 느린지 모르겠음 돌겠음
밑짤에는 아직 시작도전에 모델 다운받고있는거같은데 저기에서 막힌단게 아니라 저기 다음단계에서 막힌단거 맞지?
ㄴㄴ 막히는게 아니라 모델 다운도 코랩보다 느리고 fine_tuning단계에서도 코랩보다 느린데 이유가 CPU 이용률이 15퍼가 안넘어서 데이터를 배치(GPU)쪽으로 못넘겨서 그렇다고 하는거같음.. 병목현상인데 결국 아무것도 안했는데.왜 15퍼로 고정되있는지 모르겠음 ㅋㅋㅋ
일단 오버클럭을 하든 해서 바꿔야할듯...