[📪정보] Microsoft, 30조 파라미터를 위한 ZeRO-infinity 공개

[특갤용(singularity45)]

https://www.microsoft.com/en-us/research/blog/zero-infinity-and-deepspeed-unlocking-unprecedented-model-scale-for-deep-learning-training/

-지난 3년 동안 ai 모델 파라미터는 1000배 증가했지만 단일 gpu 메모리는 5배 증가

- 메모리 벽 문제를 해결하기 위해 3D 병렬 처리법이 사용되고 있지만 1조개 파라미터를 학습하는데 여전히 320개 gpu 필요

- 새로운 시스템 ZeRO-infinity를 도입해 NVIDIA DGX-2 단일노드에서 1조개 파라미터, 32개 노드(512 gpu)에서 32조개 파라미터 학습 가능

- 단일 gpu 노드로 gpt3보다 큰 모델을 미세 조정할 수 있게 해 대규모 모델 대중화에 기여

- 향후 100조개 이상도 가능할 것이라 전망

기존 3d 병렬 방법과 ZeRO-infinity의 노드 대비 파라미터 수 비교

- dc official App

[익명(61.82)]

bb

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[익명(121.175)]

노동해방 빨리....제발!!!

[익명(211.54)]

이걸 보고도 마소를 안사냐? 무조건 풀매수 하라고

[익명(1.239)]

엔비디아는 GRACE를 공개하면서 DGX기반 시스템보다 10배 빠른 시스템 구성이 가능하다고 했으니 2023년쯤에 320~1280조 파라미터 이상의 모델도 가능할 수도 있겠네

[익명(49.166)]

이게뭔뜻이냐 패러미터100조개급 gpt4나온다는말임?

[ㅋㅇ(1.229)]

히히!