[❓질문] gpu모델 분산학습

[Sesiwo(visiopo44)]

torch에서는 nvidia apex나 자체 분산 모듈(통합됨?)이 있는거같은데

tf는 모델 분산은 따로 없음? 직접해야함?

아님 그 허깅페이스 파이프라인?

- dc official App

[익명(203.230)]

모델 병렬화는 torch든 tensor든 직접 올려줘야 했던거 아니였냐? 내장 API도 있음?

[Sesiwo(visiopo44)]

찾아보니까 tf는 모르겠고 torch는 있는거 같은디? apex에도 있었는데 지금은 통합된듯..? - dc App

[익명(203.230)]

데이터를 병렬처리하는게 아니고? 모델 병렬화도 되는줄은 몰랐네

[Sesiwo(visiopo44)]

데이터만인가? 내가 잘못 이해한건가 tf는 없는거같은데 - dc App

[익명(203.230)]

https://keras.io/guides/distributed_training/

[Sesiwo(visiopo44)]

저게 모델갈죽임? 걍 알아서 따로따로만들고 알아서 합쳐라 이건가 - dc App

[Sesiwo(visiopo44)]

pretrain된 모델은 알아서 모델 자르고 파이프라인 구축해야하노? - dc App

[익명(203.230)]

아니 데이터 병렬처리라고 적혀있잖어 ㅋㅋㅋ 모델 반갈죽은 레이어별로 하든가 직접 해야됨

[Sesiwo(visiopo44)]

그치? ㄱㅅㄱㅅ 더 찾아보니 meta의fsdp를 쓰면 데이터병렬화+메모리 최적화로 메모리 반갈죽으로 깔끔하게 병렬 처럼 되는듯 - dc App