Mamba, TTT, Titans 등등


모두 Transformer를 대체할 아키텍처라고 설레발은 엄청 쳤지만 아직 frontier 모델로 나온건 없음


대개 적은 매개변수 (1B 이하)거나 비 NLP 시계열 데이터에서 실험적으로 좋은 성능 보여주었다 정도


트랜스포머가 2017년에 나와서 GPT 혁명이 나올때까지 5년의 시간이 걸렸던 것을 생각하면 새로운 아키텍처들에게 너무 빠른 적용을 기대하는 것 일수도 있음


그 많은 비판에도 불구하고 트랜스포머 기반 모델은 여전히 확장되고 있고 쌓아놓은 기반이 엄청나기 때문에 다른 아키텍처로 따라잡는건 어려운일임