[일반] 비램 있는거 다 합쳐서 모델 올리는게 되는거였나요

[ㅁㄹ(clflush)]

안된다고 들었는데 아닌가보네요

[볼빨간사상기(redflavor7)]

할수있음

[볼빨간사상기(redflavor7)]

모델 전체를 층단위로 순서대로 올리고 앞 그래픽카드가 계산한거 뒷 그래픽카드로 넘기고 하는 바톤 릴레이

[ㅁㄹ(clflush)]

오..

[Purenexus(hokyu)]

그거하라고 나온게 NVLink 브릿지 같은거 아닌가오

[ㅁㄹ(clflush)]

아 찐 엔비링크는 비램 같이 쓸수 있었나요

[ㅇㅂㅇ 1(222.104)]

NVLink 붙여도 하나로 쓰는거하고 똑같이는 안써짐

[ㅇㅂㅇ 1(222.104)]

그러라고 있는 DDP가 있서요

[ㅇㅂㅇ 1(222.104)]

Distributed Data Parallel

[ㅁㄹ(clflush)]

[토오오오오카(hhhmmm98)]

oobabuga 기준 아예 gpu별로 비램 몇기가씩 쓰게할지 설정하는 옵션도 대놓고 있음

[ㅁㄹ(clflush)]