[일반] seq2seq 어텐션 어렵다

[익명(221.162)]

트포 multi head self attention은 이해가는데

왜 seq2seq 어텐션은 이해가 안가지..

어떤 코드는 Decoder input이랑 Encoder hidden state랑 concat하고 FC로 보낸 다음 softmax 거쳐서 attention distribution 구하고

어떤 코드는 Decoder input이랑 Encoder hidden state랑 matmul하고 바로 softmax 거쳐서 attention distribution 구하고

근데 또 논문 읽어보면 전자가 맞는거같은데 하고 ㅅㅂ 개복잡하네

[익명(61.254)]

그냥 attention score 구하는 방법이 다른거 뿐임 대표적인게 dot-product attention이고

[익명(122.153)]

트랜스포머를 이해했는데 seq2seq 을 이해 못할수가 없음. 본인이 트랜스포머를 이해하고 있다고 착각하고 있는건 아닌지 되돌아 보는게 어떨까 싶음