원래 n^2으로 불어나는 연산량 줄이려고 linear attention이라는것에 대해 사람들이 많이 연구를 함.
근데 linear attention을 구체적으로 구현하는 방법이 여러개가 있는데,
이 논문은 그냥 그 구현방법 중의 하나를 제안한거 뿐임.
뭐 패러다임이 바뀌고 그런거 전혀 아님.
원래 n^2으로 불어나는 연산량 줄이려고 linear attention이라는것에 대해 사람들이 많이 연구를 함.
근데 linear attention을 구체적으로 구현하는 방법이 여러개가 있는데,
이 논문은 그냥 그 구현방법 중의 하나를 제안한거 뿐임.
뭐 패러다임이 바뀌고 그런거 전혀 아님.
전부다 기술적 편법일 뿐이고 결국은 어텐션으로 귀환됨
트랜스포머 대체할 아키텍처나오면 여기저기 대서특필하고 난리날거같은데
저거 보면 그냥 linear attention 중 하나일뿐인데, 게이트 델타넷 같은거