답은 구글이다

GPT-3의 근간을 이루는 마법 GPT-3의 기반은 트랜스포머(transformers)라 불리는 딥러닝 체계다. 트랜스포머에 대한 개념은 2017년 구글 브레인(Google Brain)이 발간한 보고서 “필요한 것은 집중(Attention is all you need)”에서 처음 소개됐다.트랜스포머의 가장 큰 특징은 보고서의 제목처럼 ‘집중’이라는 개념을 접목했다는 것이다. 일반적으로 집중 메커니즘은 Seq2Seq 모델에 적용된다. 순서대로 나열된 단어나 글자, 숫자 등을 입력하면 새로운 배열이 출력되는 모델로, 문자 생성, 기계번역, 질의응답 등 언어 지능 작업에서 폭넓게 활용되고 있다.Seq2Seq 모델을 처리할 때는 인코더(encoder)와 디코더(decoder) 기능이 관여한다. 인코더는 입력된 배열의 맥락을 파악해 디코더에 전송한다. 디코더는 이를 바탕으로 새로운 배열을 구성해 출력한다. 입력된 배열에서 ‘집중해서 봐야 할’ 주요 측면을 파악해 전통적 신경망의 한계점을 뛰어넘은 것이 바로 이 ‘집중 메커니즘’이다.
https://www.coindeskkorea.com/news/articleView.html?idxno=71289
더자세한 내용은 기사 참고