생각해보면 트랜스포머 이전에는 시계열의 위치 특성을 이해시키기 의해 RNN과 같은 모델로 recurrent한 계산을 하는 것이 필수적이었고 이 과정이 병렬화를 어렵게 한건데

임베딩벡터에 위치인코딩을 하고 attention 가중합 계산과 Affine계층을 통과시키는 것 만으로, 위치 특성을 이해시키는데 있었던 기존의 한계를 돌파한 것이니까

트랜스포머의 진짜 핵심은 위치인코딩이 아닌가 (혹은 위치인코딩이 attention계산과 만나서 생기는 시너지를 밝힌 일)라고 생각함
님들의 생각은 어떰

- dc official App