트랜스포머는 방대한 크기의 데이터 세트를 학습할 수 있고 효율적으로 비교 가능한 다양한 모델의 밑거름이 됐다. 구글 보고서가 발간된 이후 다양한 언어 작업을 처리할 수 있는 슈퍼 모델을 구축하기 위한 경쟁이 시작된 것은 놀라운 일도 아니다. 구글의 버트(BERT), 페이스북의 로버타(RoBERTa), 마이크로소프트의 튜링NLG와 오픈AI의 GPT-3모두 트랜스포머를 기반으로 하는 최신 모델이다.GPT-2는 15억개의 매개변수를 사용해 세계를 놀라게 했다. 이후 170억개의 매개변수를 사용하는 마이크로소프트의 튜링 NLG가 등장하면서 기록이 깨졌는데, GPT-3는 1750억개라는 말도 안 될 만큼 큰 규모의 매개변수를 사용한다. 이 모든 것이 고작 1년이라는 시간 안에 이뤄졌다. 결론은 간단하다. 트랜스포머 모델이라면 그 규모가 클수록 좋다.
https://www.coindeskkorea.com/news/articleView.html?idxno=71289
매개변수가
15억개170억개1750억개다음은?