[일반] 특정분야로 파인튜닝할때 말이야

[1234(125.14)]

예를 들어 한국어&의료 분야로 튜닝한다고 하면 

한국어 파인튜닝을 거치고 그 다음 의료 분야 파인튜닝을 하는거랑 처음부터 한국어로된 의료 데이터를 가져다 박는거랑 어느쪽이 더 효율적일지..?

데이터셋이 충분히 아주 많이 있다는 가정하에 처음부터 한국어로 된 의료데이터 끼얹는게 효율이 나을거 같은데 아닌가? 

[익명(222.238)]

한국어 파인튜닝은 방대한 작업이 될수 있는데 한국어 프리트레이닝이 잘된 모델을 먼저 고르는게 나을것 같은데

[1234(125.14)]

https://qiita.com/toshi_456/items/280efc31950ddb083286?utm_campaign=post_article&utm_medium=twitter&utm_source=twitter_share

[1234(125.14)]

여기 이 사람보면 일본인인데 자국어 프리튜닝없이 처음부터 일본어 데이터 들이박는거 같은데

[1234(125.14)]

코알파카같은 한국어 학습이 되어있는 모델을 고르는게 더 낫나??

[익명(222.238)]

코알파카가 병신같이 학습 시켰다면 한국어 학습없이 바로 한국어 의료문서 학습 시키는데 낫겠다. 대신에 그 챗봇의 용도는 의료용 말고는 범용적이 쓰이지 않게

[익명(125.14)]

ㅇㅇ나도 여기저기 찾아보니까 프리튜닝 질이 낮으면 다이렉트로 데이터 들이박는게 나은게 맞는듯?? 근데 이제 코일파카 튜닝 질을 뭘로 판단하면 되지

[익명(125.14)]

쨋든 ㄱㅅ