Mixture of Experts

이고.



Expert 계층을 만든 후에, 


일반적으로 8의 expert에게 라우팅되고, 출력 가중치에 따라서 한다는데 생각보다 신기한 개념이네


그래서 세분화된 expert

공유 expert를 구분하고


여기서 expert는 FFN이고, 라우팅 레이어는 expert에게 가중치 제공, 가중치 제공 후, expert 레이어의 출력과 합산해서 MoE의 아웃풋을 얻는다는데


AI 하는 애들은 천재인가봄


나는 봐도 이해가 잘 안가는데 말이지