0. 제목 제한 너무 짧다


1. 구현할것


QKV 받아서 이거 만들어주면 된다.

저번 화에서는 VKQ였는데 갑자기 순서 바꿔버리기~

구글에 다니면 알수없는 생각을 많이 하고 사는걸까

아무튼 위 그림을 수식으로 바꾸면 간단해진다.


예상질문 : 나머진 다 알겠는데 중간에 차원으로 왜 나눠줘요?

답변 : 논문 다시 읽으세요~

농담이고 1이하의 숫자를 자꾸 곱해주면서 수들이 작아지기 때문에 저걸 곱해줘서 다시 살리는거다.


2. 구현



별거 없다.

그냥 순서대로 해줌