[일반] Positional Encoding 제일 쌈박한게 뭐임?

[1(211.222)]

음성 합성쪽 모델 개발중인데,

Transformer Block + Sinusoidal Positional Encoding 쓰면 짧은 문장 생성(?) 때는 존나 불안정한 모습 보여가지고

LSTM 쓰고 있는데

Positional Encoding 뭔가 좋은거 없을까?

Trainable or Relative Positional Encoding 이랍시고 Kernel Size 128 Convolution 아니면 nn.Embedding 같은거 갖다 쓰는건 좀 별로인거 같아가지고... 다른거 없나?

[Sesiwo(visiopo44)]

RoPE? - dc App

[Sesiwo(visiopo44)]

또 RoPE 까면서 더 나은거 제안하는 논문도 있었던거같음 - dc App

[1(61.74)]

rotary embedding 인가? LLAMA2가 그거 쓰던데 한번 써봐야지 ㄳㄳ

[Sesiwo(visiopo44)]

그 RoPE는 트렌스포머 에서만 유효할거임. 내적을 상정하고 만든거라서.. - dc App

[Sesiwo(visiopo44)]

내적-> dot product - dc App

[focalors(pytorch)]

걍 갠적인 경험인데 포지셔널 임베딩이 그것만으론 포지션 정보 잘 못담는거같음...