Self attention 자체는 걍 좆밥이고 그 뒤에 달린 FFN이 다 했다는 생각이 드네. 물론 그 FFN이 잘 받아들일 수 있게 변형을 해주는 거겠지만