다음 NLP관련 SOTA는 Mamba인건 확정인거 같은데

그말은 결국 Mamba랑 S4 에서 제시된 Linear Recurrent Unit이용한 RNN 활용한 시퀀스 데이터 분석으로 다시 넘어갈거 같음

장점은 Positional Encoding 관련해서 이제 신경쓸 필요가 없어 진다는 거고


차후 과제로 제시할수 있는건

Mamba나 S4에서 Time Series를 배치로 처리하기 위해서 FFT를 이용하는걸 제시했는데


내 전공이었던 Chevycheb랑 Spectral Method 관련해서 개선할 주제가 있을거임


누가 가져가면 가져가는거고

박사로 다시 대학 들어간다고 하면 이걸로 연구할듯