롱콘텍스트 문제 해결하려면 RoPE랑 softmax를 버려야 할거 같지 않냐

현실세계에서 그럭저럭 잘 동작해왔고 학습길이에서 쉽게 외삽도 시킬 수 있고 해서 장점이 많았는데

생각해보면 이거 설계 자체가 거리가 멀어질수록 내적값이 크게 감소하도록 되어 있잖아

중요한 토큰이 거리가 멀면 어텐션 점수가 높게 나올 수가 없게 설계된거라..

소프트맥스도 이미 여러 지적하는 논문들 많이 나왔지만 N이 커질수록 노이즈와 실제 점수를 구분하기 어려워지는 문제가 있고말야

근데 저거 대신 뭐 넣어야 하냐에 이르면 머리가 복잡하긴 하다 sigmoid attention이나 NoPE같은게 없었던건 아닌데 막상 softmax, RoPE보다 좋냐하면 꼭 그렇지도 않았어서

그래도 뭔가 여기에 키가 숨어있을거 같아...