[일반] 포지셔널 인코딩 질문있습니다.

[익명(121.171)]

sin cos 쓰는 이유는 이해가 가는데 수식을 저렇게 짠 유도 과정을 알 수 있을까요?

[익명(221.150)]

값은값 안나오게 만들려고 말고 다른이유 있었나?

[레일라님(pytorch)]

https://arxiv.org/abs/2006.10739

[Sesiwo(visiopo44)]

signasolid ? 라고 하고, 윗댓처럼 그냥 독립성보장을 위해서 더해주는거임. 이후에 포지션 임베딩 방식도 여래개 늘어남 - dc App

[익명(106.102)]

어떻게 유도됬다기 보다는 그냥 정현파(sinusoidal)랑 내적 원리 이용한거라 그럼, 미적 배웠으면 대충 기억할텐데?
https://velog.io/@gibonki77/DLmathPE