[❓질문] 트랜스포머 언어 변경?

[익명(175.123)]

영어로 학습된 그림 -> 텍스트 트랜스포머 모델 (비전 인코더/텍스트 디코더)이 있는데 이 똑같은 기능을 한국어 그림 -> 텍스트에도 사용할 수 있도록 파인튜닝하는게 가능할까요?? 기존 모델에 그냥 한국어 토큰들 추가하고 한국어 그림 -> 텍스트 데이터셋으로만 학습하면 될지 모르겠네요ㅜㅜ

[Sesiwo(visiopo44)]

디코더만 한글로 새로 학습을 시키면 될건데 그걸 원하는게 아니지않음? - dc App

[익명(175.123)]

모델이 영어로 된 차트를 보고 영어 텍스트로 바꾸는거라 디코더만 한글로 학습시킨다고 잘 될지 모르겠네ㅜㅜ

[Sesiwo(visiopo44)]

인코더가 특징을 뽑아서 압축하니까 해볼만 할거같은데 실제로 트랜스포머 기반모델 bart가 그랬나 t5가 그랬나 기억이 잘 안나는데 인코더 디코더 따로 학습했던거 같음. 좀 찾아보고 할만할거같음 실험해봐 - dc App