[❓질문] batch1을 gpu2개로 돌릴수도있나요?

[익명(115.145)]

batch1도 gpu1개로하면 메모리가 터지더라구요
그래서 gpu2개로 해보고싶은데 뭐라고 검색해야되나요?

[익명(211.235)]

Model parallelism

[익명(118.235)]

나라면 걍 배치크기 줄이고 gradient accumulation 적용할듯

[익명(dcturtle2)]

혼자 공부하는 딥붕인데 그런 방법도 있구나 ㄱㅅ

[익명(211.235)]

Batch1인데 어떻게 더 줄여

[익명(118.235)]

fsdp