트랜스포머 인코더 디코더블럭 만쓰고

그이외 추가적인 FFN 이나 gelu 추가할거는 추가도 해보고 다래봤는데


대충 llm 반복현상이랑 할루시네이션 뭐가 문제인지알겠노..


멀티헤드 셀프어텐션이랑 행렬연산이 ㅈㄴ게 문제였내 그냥