[📪정보] MS-엔비디아, 초거대 AI ‘MT-NLG’ 공동 개발...규모·정확도

[익명(218.50)]

http://www.aitimes.com/news/articleView.html?idxno=140987

매개변수 5300억개로 기존 단일 생성 모델 대비 3배 크기
슈퍼컴퓨팅 기술에 분산 학습 SW 스택 활용...거대 모델 훈련 효율화
오픈 소스 더파일과 크롤링으로 2700억개 토큰 데이터셋 구성

[익명(14.46)]

[익명(59.14)]

의외로 크기보다 효율성이 더 중요하더라고