맘바같은 어탠션에 발리는 애들말고 더 쎈게 왜 없는 거임

그냥 어탠션만 파쿠리하고 다른게 안나오네

근본적으로 linear layer가 문제인가

어탠션도 linear layer 잘 갈구려고 나온 개념이고

moe나 latent 같은 것도 linear layer 연산 최적화하려고 나온 개념이고

linear layer가 주류인게 문제인건가