일단 재학습 과정까지는 도달했음
문제는, 이전 model, 그러니까 원본 model에 이미 학습된 내용이 내가 필요한 부분이 아님.
내 데이터셋으로 학습을 어느정도 시켜놓고 해당 내용이 재학습된 model로 내가 작성한 prompt를 사용했는데도 내가 학습시킨 데이터랑 전혀 무관한 데이터들만 나옴
그냥 완전 바닥부터 학습시킬 방법은 없나?
데이터셋은 어느정도 모아놓았음
일단 재학습 과정까지는 도달했음
문제는, 이전 model, 그러니까 원본 model에 이미 학습된 내용이 내가 필요한 부분이 아님.
내 데이터셋으로 학습을 어느정도 시켜놓고 해당 내용이 재학습된 model로 내가 작성한 prompt를 사용했는데도 내가 학습시킨 데이터랑 전혀 무관한 데이터들만 나옴
그냥 완전 바닥부터 학습시킬 방법은 없나?
데이터셋은 어느정도 모아놓았음
그 어느정도의 데이터가 터무니없이 적을거야
와이푸 디퓨전이랑 비슷한 데이터셋인데 그냥 와이푸애들이 어케했는지 보는게맞으려나
와이푸애들이 56k 했는데 내가 모은 데이터셋이 대충 2.6만임 절반정도는 따라가네
와이푸도 처음부터 한게 아니지 않음?
학습 계속 시키다보면 덮어써짐
그것이 파인튜닝이니까 (끄덕)
그거 할려면 진짜 시간 존나쓸거같아서 걍 바닥부터 하는게 나을거같아서 그럼
굳이 싶다 원한다면 구글 같은데서 자주 쓰는 모델들 있으니싸 학습시켜보셈
바닥부터? 컴퓨팅파워가 꽤 되나보네