[일반] 파이토치 dataset에서 getitem 짤 때

[땔감(gcp24685)]

그때그때 파일 로드함? 나 지금까지 메모리에 다 올려놨는데 이게맞나싶어서

[focalors(pytorch)]

mmap - dc App

[익명(58.238)]

Dataloader 코드에 파일 열도록 했으면 매번 로드하겠지

[익명(118.235)]

니 선택이지 뭐

[Xst(121.157)]

걍 trade off지 init에서 모든 샘플 다 램에 올려놓고 getitem에서 인덱스로 가져오는 것만 하면 속도는 빠른데 메모리를 그만큼 쓰는거고, 반대로 getitem에서 특정 인덱스의 샘플만 그때그때 읽게 하면 i/o하는 데에 시간 쓰는 대신 메모리를 적게 쓰는 거고. nas나 nfs같이 스토리지 서버에서 데이터 읽게 시키는 거면 거기에 네트워크 대역폭도 영향 끼치겠지