[일반] gpt4는 ANN CNN DNN RNN GAN중 뭐 사용한거임?

[고대신(popiuuu1)]

매커니즘이 궁금함 

- dc official App

[스파찜질방(thor2018)]

transformer + moe 아닌가?

[익명(219.249)]

트랜스포머 디코더만 존나쌓은거임 - dc App

[익명(27.100)]

일단 RNN기반이지. ANN,DNN,RNN은 다 적용됐고, CNN은 이미지 인식 장치쪽에 적용됐을것이고, GAN은 아님. GAN은 옛 생성 인공지능들에나 적용되는 알고리즘임. 한마디로 대부분 적용돼있는데 RNN빼곤 다 불필요한 나열임.

[ㅇㅋ(ijh2005)]

텍스트를 선행학습한 임베딩모델을 거쳐 벡터표현화한뒤 멀티헤드어텐션으로 가공해서 신경망에 쏘아보내는 구조임

[익명(180.65)]

ANN: Artificial Neural Network, 인공 신경망을 의미함. 따라서, 「GPT에 ANN이 사용되었다」라고 하기 보단 「GPT는 ANN에 속한다」고 할 수 있음. CNN: Convolution Neural Network, 이미지와 같은 3차원 데이터를 학습할 때 사용되는 기법. 이미지를 입력받는 언어 모델(Lenguage Model)에선 사용될 수 있으나, 언어만 학습하는 경우 사용되지 않음. DNN: Deep Neural Network, 2층 이상으로 이루어진 신경망을 의미함. GPT는 다수의 층으로 이루어져 있으므로, 「GPT는 DNN에 속한다」고 할 수 있음.

[익명(180.65)]

RNN: Recurrent Neural Network, 시계열 데이터를 다룰 수 있는 인공 뉴런이라 볼 수 있음. 트랜스포머 등장 이전까지 유력한 언어 모델로 사용되었음. GPT에서는 사용되지 않음. GAN: Generative Adversarial Network, 적대적 생성 신경망으로 생성자와 판별자 두 모델을 이용하여 특정 데이터를 생성하는데 사용함. 사용할 수 있는 분야가 한정되어 있음. GPT에서는 사용되지 않음.