Christopher Re 연구팀의 최신 연구가 요즘 주목을 많이 받아서 (S4, H3, Hyena 등등)
되도 않는 지식으로 열심히 이들 논문을 읽으려고 했지만
이 논문들의 딥다크한(개인적으로 느끼기에...) 신호처리(?) 백그라운드에 그만 정신을 잃을 뻔 했음.
그러다가 Do we need attention? 이라는 자료를 발견했는데(https://github.com/srush/do-we-need-attention/blob/main/DoWeNeedAttention.pdf)
이 자료를 보니 RNN이 SSM의 특수한 케이스라는 사실을 알게 됐음.
결국 얘네의 최신 연구인 Hyena는 long convolution을 이용한 일종의 RNN 모델인 것 같다.
언젠가는 Hyena에 대한 정리글을 여기에 올릴 수 있길...
내가 이해한 바로는 RNN을 convolution으로 연산하기 위한 과정
그러면 O(n^2)의 attention 대신에 이와 비슷한 연산을 수행하는 convolution 기반의 모델을 O(n log n)의 시간복잡도로 계산 가능(FFT 사용).
해당 댓글은 삭제되었습니다.
https://gall.dcinside.com/m/thesingularity/143686
이거에 대한 이야기야
무슨 말인지 잘은 모르겠지만, O가 n^2에서 nlogn이 된다는 말만 놓고보면 엄청 좋은 것 같은데!
ㅇㅇ 긴 input sequence를 처리하게 되면 훨씬 좋은 성능을 보이겠지. 더 읽어봐야 알겠지만 아직도 저기 나오는 matrix A의 초기화 문제등이 이슈가 되는 것 같아서 갈 길은 많이 남은듯