뭔가 llama라던가 Gemma ChatGPT라던가 전부
Gpt계열만 핫하고 bert 계열 mlm 모델은 소식이 없네
HUGGINGFACE 뒤져봐도 최근엔 뭐 없는거 같던데
MLM PRETRAINED 모델 현황 어떰?
최근에 다국어 데이터 이빠이 넣은 모델 나온거 있음?
Gpt계열만 핫하고 bert 계열 mlm 모델은 소식이 없네
HUGGINGFACE 뒤져봐도 최근엔 뭐 없는거 같던데
MLM PRETRAINED 모델 현황 어떰?
최근에 다국어 데이터 이빠이 넣은 모델 나온거 있음?
Gpt랑 버트랑 애초에 학습 목적이 다름. Gpt는 auto-regressive하게 다음 토큰 생성하는 걸로 학습을 하고 그 자체로 최종 task가 생성이 목적인 모델임. 이걸 finetune한다는 것도 결국 task는 똑같이 AR로 생성하는 건데 도메인 어뎁테이션의 차원에서 하는 게 대부분이고
반면 버트는 단어 임베딩을 잘 representation learning한 뒤에 downstream task에 대해 finetune하는 게 목적임. 그 task에 LM이 포함될 수야 있겠지만 애초에 버트 학습은 AR 방식의 causal mask를 쓰는 게 아니라 bidirectional mask를 사용하는데 제대로 적용될 리가 없겠지
casual mask가 뭐임? Bidirectional mask가 이론상 이해에는 강점이 있는거 아닌가 - dc App
캐주얼이 아니라 커절 (causal) 마스크임. AR 방식으로 생성하는 게 최종 목적인 모델이어도 실제 학습할 때 AR 방식으로 매 스텝 이터레이션 돌아가면서 학습시키면 베리언스도 크고 학습시간이 감당이 안 되기 때문에 모든 스텝에서 +1 스텝의 토큰만 맞추는 방식 (teacher forcing)으로 학습을 함. 이 때 사용하는게 causal mask인데, N번째 스텝에서 N+1번째의 토큰을 예측할 때 1~N번째까지의 토큰만 볼 수 있도록 제한하는 마스크임.
아 그걸 영어로 커절마스크라 하구나 ㄱㅅ - dc App
버트는 딱 봐도 짜치자녀
당시에 나올 때 엄청난 파장을 줬는데 짜친다는 표현은 좀..
실제로 울학교에 오픈AI 연구원이 왔을 때 했던 말임