배치 하나하나 사이즈는 작은데 ..
토탈 데이터 양은 40기가가 넘어 ..
이거는 파이토치라면 dataloader로 해서 .. batch stream같은 개념으로 .. 배치들어가는 것만 gpu memory로 로딩 시켜면 될 것 같은데 ..
지금 pytorch_tabnet쓰는데 .. 이건 또 ;; scikit learn따라 한다고 .. ;;; 인풋 X, y 배치를 numpy array로 받음;;
그래서 dataloader interation 뭐 그딴게 안 되는것 같은데 ;;
이거 뭐 어떻게 하는 방법없음?!? epoch 1바퀴도 다 못 도는 크기임 .. ...
걍 텐서로 바꾸는 커스텀데이터셋 짜면 되는거아닌가? 그리고 배치사이즈 개념이 맞나?
torch.utils.data.Dataset 새로 짜고 데이터 하나하나 파일로 저장한다음 불러오는 식으로 해야지
너프 구현할때 그게 데이터 존나 많아서 다들 데이터로더 직접 구현하고 1배치 사이즈 (사진 한 장) 보다 더 작은 단위로 가져오게 해서 구현하더라, 정확하게는 레이 n개씩 가져오게 했었음, 이미지 한장에 레이 N개여ㅛ음 - dc App