걍 mlp만 알아도 기본적인 틀은 아는거임.


만능 근사 정리에 의하면 mlp만 있어도 파라미터수만 많으면 챗지피티도 만들 수 있음.


자기회귀적 생성법에 대한 매커니즘은 어떻게 구현할지 따로 생각해봐야하겠지만 이건 알고리즘적인 부분이지 성능에 대한 부분은 아님.


물론 차원의 저주같은 문제도 있긴한데 학습데이터셋도 걍 무한하다고 가정하면 가능함.



내 말의 요지는 뭐냐면 mlp만 제대로 알면 현재의 llm들이 어떤 철학에 기반해서 학습되는지,


mlp의 크기를 존나게 늘리면 chatgpt를 만들 수 있는데도 왜 트렌스포머같은 ㅈ같은 구조를 연구하는건지 알 수 있음.