0. 제목 제한 너무 짧다
1. 구현할것
QKV 받아서 이거 만들어주면 된다.
저번 화에서는 VKQ였는데 갑자기 순서 바꿔버리기~
구글에 다니면 알수없는 생각을 많이 하고 사는걸까
아무튼 위 그림을 수식으로 바꾸면 간단해진다.
예상질문 : 나머진 다 알겠는데 중간에 차원으로 왜 나눠줘요?
답변 : 논문 다시 읽으세요~
농담이고 1이하의 숫자를 자꾸 곱해주면서 수들이 작아지기 때문에 저걸 곱해줘서 다시 살리는거다.
2. 구현
별거 없다.
그냥 순서대로 해줌
첫글에 주석 안단다고 경고해놓고 오지게 많이 달게되네... 근데 논문 수식들은 안달면 너무 알아보기 힘든듯