[일반] Transformer 엄청 어렵다..

[지잡컴공(wlwkqzjarhd)]

RNN, LSTM까지는 별로 알아야 하는 지식도 없고 그냥 구조 그대로 받아들이면 됐는데

transformer를 공부하려고 하니 attention과 거기에 딸린 이해해야 할 개념이 너무 많은 것 같아..

꽤나 전 부터 Attention in all you need를 읽으려고 했는데 며칠 붙잡고 있어도 도무지 이해가 되질 않아서

Seq2Seq 부터 공부해서 이제야 Cheng et al., 2016 읽는 중임 ㅋ