overfitting 개념같은거

사실 수리통계학부터 시작해서 꽤 많은 기초과목을 이수해야 제대로 이해할 수 있는 개념이지만

실제로 그거 어떻게 활용함? 하는 상황이면 생각보다 잘 적용이 안됨


LLM은 글자 순서 바뀌면 아예 다른 내용으로 인식한대

-> 그럼 앞에 특수기호 붙은 텍스트 데이터랑 그렇지 않은 텍스트 데이터는 서로 domain distribution이 다르겠네?

-> 그럼 학습할 때 목적에 따라 data domain distribution 확실히 해야 overfitting 안되겠네?


현실은 엥간한 모델은 relative positional encoding 적용돼서 100% 맞는말도 아니고

특수기호 임베딩이 어떻게 다른 토큰 임베딩에 영향 주는지 100% 파악하기도 어려워서 (사실 요즘은 거의 다 알아서 함) 적용하기도 어려움

이론 다지고 바텀업 하는거 전통적이고 여태까지 잘 먹혀들어온 학습방법이긴 하지만

난 탑다운도 괜찮다 하는걸 넘어서 요즘 딥러닝에서 애초에 바텀업이 효과적인 방법인지조차 잘 모르겠음