[📪정보] 구글 클라우드를 통해 100조 매개변수 딥러닝 기반 추천 모델 학습

[익명(1.239)]

Google Cloud에서 100조 개 매개변수의 추천자 모델 학습 | 구글 클라우드 블로그

Google Cloud를 통해 100조 매개변수의 딥러닝 기반 추천 모델 학습

100조 매개변수의 추천자 모델 학습

추천 시스템은 오늘날 인터넷 서비스의 중요한 구성 요소입니다. 수십억 달러의 매출을 올리는 비즈니스는 거대 기술 회사의 추천 서비스에 의해 직접적으로 주도됩니다. 프로덕션 추천 시스템의 현재 환경은 딥 러닝 기반 접근 방식이 지배적입니다. 여기서 임베딩 레이어가 처음으로 채택되어 매우 큰 규모의 ID 유형 기능을 고정 길이 임베딩 벡터에 매핑합니다. 그런 다음 임베딩을 복잡한 신경망 아키텍처에서 활용하여 권장 사항을 생성합니다. 추천 모델의 지속적인 발전은 종종 모델 크기의 증가에 의해 주도됩니다. 여러 모델은 이전에 10억 개에서 최대 1조 개까지의 매개변수를 사용하여 최근에 출시되었습니다. 모델 용량이 증가할 때마다 품질이 크게 향상되었습니다. 100조 매개변수의 시대가 코앞에 다가왔습니다.

추천 모델에 대한 교육 작업의 규모는 고유한 문제를 야기했습니다. 훈련 계산에는 엄청난 이질성이 존재합니다. 모델의 임베딩 레이어는 전체 모델 크기의 99.99% 이상을 포함할 수 있으며, 이는 극도로 메모리 집약적입니다. 한편, 복잡하고 조밀한 휴식 신경망은 각 훈련 반복에서 100개 이상의 TFLOP로 점점 더 계산 집약적입니다. 따라서 이러한 교육 작업을 위해 이기종 리소스가 있는 클러스터를 관리하기 위한 정교한 메커니즘을 갖는 것이 중요합니다.

최근 ETH Zurich의 Kwai Seattle AI Lab과 DS3 Lab은 교육 알고리즘과 교육 시스템의 신중한 공동 설계를 통해 이 문제를 해결하기 위해 "Persia"라는 새로운 시스템을 제안하기 위해 협력했습니다. 알고리즘 수준에서 페르시아는 임베딩 레이어와 밀집 신경망 모듈을 다르게 처리하기 위해 하이브리드 훈련 알고리즘을 채택합니다. 임베딩 레이어는 훈련 샘플의 처리량을 향상시키기 위해 비동기식으로 훈련되고 나머지 신경망은 통계적 효율성을 유지하기 위해 동기식으로 훈련됩니다. 시스템 수준에서 메모리 관리 및 통신 감소를 위한 광범위한 시스템 최적화가 구현되어 하이브리드 알고리즘의 잠재력을 최대한 발휘할 수 있습니다.

GCP에 대규모 교육 배포

페르시아가 요구하는 대규모 확장은 구성 요소 전체에 필요한 네트워크 대역폭에서 임베딩을 저장하는 데 필요한 RAM 메모리 양에 이르기까지 여러 문제를 야기했습니다. 또한 파이프라인을 최소화하고 비용을 최적화하기 위해 상당한 수의 가상 머신을 배포, 자동화 및 조정해야 합니다. 특히 워크로드는 다음과 같은 이기종 리소스에서 실행됩니다.

- 컴퓨팅 집약적인 가상 머신의 3,000개 코어

- 총 64개의 A100 Nvidia GPU 를 추가하는 8개의 A2 가상 머신

- 30개의 대용량 메모리 가상 머신 , 각각 12TB의 RAM, 총 360TB

- Kubernetes 를 사용한 오케스트레이션

네트워크 대기 시간을 최소화하려면 모든 리소스를 동일한 영역에서 동시에 시작해야 했습니다. GCP는 거의 통지 없이 필요한 용량을 제공할 수 있었습니다.

교육의 버스트 특성을 감안할 때 Google Kubernetes Engine(GKE)을 사용하여 138개의 VM 및 소프트웨어 컨테이너 배포를 조정했습니다. 워크로드를 컨테이너화하면 교육을 이식하고 반복할 수도 있습니다.

팀은 훈련 중에 모든 임베딩을 메모리에 유지하기로 결정했습니다. 이를 위해서는 비교적 짧은 기간 동안 고도로 전문화된 "Ultramem" VM의 가용성이 필요합니다. 이는 비용과 처리 기간을 통제하면서 교육을 최대 100조 개의 매개변수로 확장하는 데 중요했습니다.

결과 및 결론

Google Cloud 인프라의 지원으로 팀은 최대 100조 개의 매개변수까지 페르시아의 확장성을 시연했습니다. 하이브리드 분산 훈련 알고리즘은 이기종 클러스터의 효율적인 활용을 위해 정교한 시스템 완화를 도입하는 동시에 바닐라 SGD만큼 빠르게 수렴합니다. Google Cloud는 온프레미스 하드웨어의 한계를 극복하는 데 필수적이었고 대규모 분산 머신러닝 교육을 위한 최적의 컴퓨팅 환경을 입증했습니다.

Persia는 GCP 설정 지침과 함께 github에서 오픈 소스 프로젝트로 출시되었습니다. 학계와 업계의 모든 사람이 100조 매개변수 규모의 딥 러닝 추천 모델을 쉽게 훈련할 수 있다는 것을 알게 될 것입니다.

[ㅇㅇㅇ(14.38)]