Pytorch2.0에서 train, inference 가속화 해주는 모듈 만들었다 해서 사용해봄
최소 cuda11.6 필요하고 reinstall 하려고 하면 좆같이 안되서 docker 환경을 새로 구축하니까 잘 됨
model =torch.compile(model)
하기만 하면 다른거 건드릴 필요 없다고 했는데
실제로는 컴파일 에러 존나 뜸
그래서 그래서 뒤에
torch._dynamo.config.suppress_errors =True
를 실행시켜서 에러를 억제시킨다는데 찝찝함
어쨌든 써보니까 돌아가긴 하고 15% 정도의 속도 증가 효과가 있었는데
데이터로딩 시간 제외하면 속도 증가율이 더 클것으로 예상됨
최소 cuda11.6 필요하고 reinstall 하려고 하면 좆같이 안되서 docker 환경을 새로 구축하니까 잘 됨
model =torch.compile(model)
하기만 하면 다른거 건드릴 필요 없다고 했는데
실제로는 컴파일 에러 존나 뜸
그래서 그래서 뒤에
torch._dynamo.config.suppress_errors =True
를 실행시켜서 에러를 억제시킨다는데 찝찝함
어쨌든 써보니까 돌아가긴 하고 15% 정도의 속도 증가 효과가 있었는데
데이터로딩 시간 제외하면 속도 증가율이 더 클것으로 예상됨
역시 3월에 스테이블 뜨면 그때 쓰는게 나아보임
짧게 굴려만 봤는데 fp16/bf16으로 amp하면 bert같은 건 1.6배까지 빨라지더라(jit쓴거랑 안쓴거 비교할때; 컴파일시간 제외) 근데 되는게 있고 안되는게 있고 더느려지는게 있고 존나 오락가락해서 못쓰겠음
좀 복잡한 코드는 학습 내내 컴파일 에러 뜨드라.. 정형적인 코드 말곤 못쓸듯