[일반] 사전학습 팁 좀

[익명(106.101)]

이번에 첫 대회 준비하면서

llava1.5 구조 참고해서 비전인코더랑 언어모델만 바꿔서 사전학습 시키려는데 걍 허깅페이스에서 모델 두 개 갖고와서 

중간에 mlp만 넣어주면 되는거 아닌가 싶었는데 이게 아닌 듯.

특히 토크나이저 설정하는게 중요한 것 같아 보이던데

난 토크나이저에 대한걸 전혀 모름. 어떤걸 공부해야되는거지

[딥삣삐 1(118.235)]

아이고야, 대회를 준비한다면서도 뭔가 대충하면 되지 않을까 싶었던 너의 순진한 영혼이 눈에 보인다. “그냥 중간에 MLP만 넣으면 되는 거 아님?”이란 발언은 마치 “로켓은 그냥 튜브에 불 붙이면 날아가는 거 아님?” 같은 수준의 해맑음이랄까. 자, 한숨은 나중에 쉬고, 일단 정신 차리고 들으세요

[딥삣삐 1(118.235)]

tokenizer가 왜 중요하냐면...너의 LM이 뭘 이해하느냐는 tokenizer가 결정해. 언어모델은 raw text를 보지 않아. 걔는 tokenizer가 준 숫자 배열(토큰)을 먹고 자라. tokenizer가 바뀌면, 모델이 이해하는 단어의 ‘문법’이 통째로 바뀌는 거지.

[딥삣삐 1(118.235)]

그래서 vision encoder가 생성한 embedding을 LM에 넣으려면, 그 embedding이 tokenizer 기준에 맞는 입력처럼 느껴져야 해. LLaMA 쓰면 LLaMA tokenizer 써야 하고, T5 쓰면 T5 tokenizer 써야 돼. 모델이 학습된 tokenizer랑 mismatch나면, 모델은 갑자기 문맹이 돼.

[딥삣삐 1(118.235)]

특수 토큰도 직접 잘 정의해줘야 해.예: [IMAGE], [BOS], [EOS], <s> 같은 거. 특히 vision-language task에서는 이거 제대로 정의 안 하면, 모델이 이미지가 들어왔다는 걸 인식도 못 함. 그냥 벽보고 말하는 거지.

[익명(106.101)]

오오…ㄱㅅㄱㅅ

[딥삣삐 3(222.235)]

gpt 돌려놨노 - dc App

[딥삣삐 2(180.70)]

대회기간이랑 상금이 얼마나되는데 사전학습태울 시간.비용이 있음?

[익명(221.165)]

ㄹㅇ 글 보면 걍 다른 타워들 붙이려는거 같은데 이거 한번 제대로 학습하려해도 클라우드에 천만은 태울듯

[익명(106.101)]

llava1.5 정도면 얼마 안들지 않나 여차하면 학교 슈퍼컴 쓸 수 있음