qlora로 학습할거임
Gemma 3 27b
1. plain text를 걍 모델에 쑤셔넣어서 학습한 뒤에 프롬프트를 만지든 추가 멀티 턴 챗 데이터로 훈련을 시키든 해서 성능 복구하기
2. 조악하게라도 단순 룰 기반으로 소설을 잘라서 멀티 턴 대화나 instruct 같은걸로 전처리해서 학습시키기
뭐가 더 나음?
긴 컨텍스트 소설에 대한 이해력 생각하면 1도 이점이 있어보여서 하는소리임
그리고 rank 얼마나 해야 ai가 충분히 문체랑 클리셰를 학습할까?
데이터셋은 5000글자 × 25편 × 10권 × 200작품 해서
250,000,000 글자 정도 될듯
이건 단순 텍스트 그대로 넣어서 학습시키는 중인건데
그래프만 보고는 모르겠노
ai 전공 안한 단순 지잡 컴공이라 여러모로 허접스러운 점 양해 바람...
여기 고수 많은것같아서 조심스럽게 질문 던져봄...
댓글 0