[일반] 3090 nvlink 로 연결하면 파이토치에서 한개 gpu처럼

[서피스프로12(h1rahm9ey2v9)]

사용가능함??

된다는놈도있고 안된다는 놈도 있고..

[Coraline(coraline2468)]

플쉰이 3090 2개로 llm 돌리던데 되지 않을까요?

[ㅇㅂㅇ 1(114.199)]

torch의 dataparallel이나 ddp같은거 안쓰고 되냐는 말이죠?? 그건 안되는게 맞는거 같든데요,,,,

[서피스프로12(h1rahm9ey2v9)]

모델하나가 너무 무거워서 vram 병합이 필요함 ㅎㅎ..

[ㅇㅂㅇ 1(114.199)]

그렇게는 안되는거 같드라구요... 처음부터 높은 정밀도 학습을 필요로 하는거 아니면 정밀도 조금 낮춰서 학습돌려보면 안되나용,,,

[토오오오오카(hhhmmm98)]

https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md
GGML_CUDA_PEER_MAX_BATCH_SIZE

[토오오오오카(hhhmmm98)]

단일 gpu 인식 x 파이토치는 모르겠고 지원 제대로 되면 토큰 생성속도 7할 정도 증가한다더라

[SFFLIFE(causal7959)]

X 모델큰거 쓰려면 ddp쓰거나 deepspeed같은 라이브러리 써야함 나도 3090 다중으로 nvlink 없이 씀