엄청 깊게 파려는 건 아니고 ZeRO 논문 이해하려면 model parallelism data parallelism 이런 건 기본으로 알고 있어야 할 것 같은데

분산학습 쪽은 아무것도 몰라서 기본 개념 확실하게 짚고 넘어가는 강의 1~2강 정도 보려고 해서 추천 좀 해주시면 감사하겠습니다



우선 data parallelism은 이거로 공부하려고 하는데 지금 20분 정도 들은 바로는 딱 적당함