공식문서 보니까 llama-factory에 ShareGPT 형태 데이터 넣고 파인튜닝하더라고요.
그런데 이게 시스템 프롬프트 쓰는 거랑 뭐가 다른 건지 모르겠어요.
이미 수억 개 데이터로 학습된 모델인데, 제가 파인튜닝으로 추가할 수 있는 건 기껏해야 몇천 개 정도잖아요.
그러면 상대적으로 데이터가 너무 적어서 오히려 제가 원하는 대로 답변 안 할 확률이 더 높을 것 같은데... 퀄리티도 떨어지고요.
제가 잘못 생각하고 있는 건가요? 파인튜닝의 실제 효과가 어떤 건지 궁금합니다.
비유하자면 llm -> 요리에 대한 센스가 있는 재능러. 모든 요리를 어느정도 만들 수 있음 프롬프팅 -> 얘한테 어떤 요리를 만들라고 시키는 것. 대개 만든 요리가 구색은 갖춰도 어색함 파인튜닝 -> 얘한테 일식이든 중식이든 전문적으로 가르치는 것. 예로 일식으로 파인튜닝 시켰다면 이제는 나름 일식다운 요리는 만들 수 있음 llm 파인튜닝에서 데이터가 몇천개면 충분히 많은거임. 상황에 따라 파인튜닝하면 오히려 생성능력이 오염되는 경우도 있기는 한데 퀄리티는 유지하면서 특정 분야에 대한 지식 능력을 향상시킬 수 있음