[일반] 학습중에 gpu사용률 떨어짐

[ㅆㄸ(116.37)]

학습 초반에는 gpu사용률이 안정적인데, 가끔가다 특정 epoch에서 사진과 같이 gpu 사용률이 막 요동을 칩니다.

그러다가도 다음 epoch가면 괜찮아지기도 하고 계속 안좋기도 하고 합니다.

epoch 1개당 괜찮을 때는 대략 2000초 정도 걸리고, 오래 걸릴때는 4000초정도 걸리는데, 컴퓨터가 못버텨서 그러는건가요..

[Cytrus(minhyoo1)]

로더에서 데이터 퍼나르는과정에서 편차가있는거같은데 윈도우에선 모니터링 안해봤지만 gpu utill보고있으면 갑자기박을때가있음 로더단에서 데이터를 병렬로구성하던 옵션여러가지있으니까 건들여보삼 난 효과좀봄