1. pretraining이랑 finetuning에서 사용되는 vocab은 같은 vocab을 쓰면됨?

이해가 안가는게 이 vocab 만들때 사용되는 corpus는 그럼 pretraining이랑 finetuning에 쓰이는 문장들을 전부 포함해야 OOV가 최소화 되는거 아님?

근데 이렇게 하려면 pretraining을 처음할때 finetuning으로 어떤 downstream task를 할지 미리 정하고 해야된다는건데 배포되는건 pretraining만 된 모델들이잖아?

이 부분이 이해가 안감


2.continued pretraining이라는걸 정확히 어떻게 해야되는거임?

continued pretraining 관련해서 아래 논문이 유명한거 같은데

Don't Stop Pretraining: Adapt Language Models to Domains and Tasks

https://arxiv.org/abs/2004.10964


읽어봐도 자세히 이걸 어떻게 구현하는지는 안 써있는거 같더라고

구현 측면에서 미리 배포된 pretraining된 모델에 진짜 downstream task를 위한 finetuning전에 finetuning을 미리 한번더 하는거라고 이해하면됨?