토큰별 상호작용 중요도를 학습함


의미없는 토큰이 들어오면 중요도 자체가 혼동되고, 의미있는 패턴이 매칭이 안됨.


여기에 내 경험상 GPT는 지침 우선이라 특히 더 그럼


그래서 오히려 트랜스포머 아키텍쳐 기준으로 특정 어투 학습을 시키면 성능이 떨어짐