Llama랑 gpt-j기반 Distillation 한 모델이라네 휴..


  1. 2023_GPT4All_Technical_Report_3.pdf
  • GPT4All-J v1.3 Groovy와 GPT4All-13B-snoozy 모델 출시
  • 90만 개의 prompt-response 페어로 구성된 맞춤 데이터셋으로 학습
  • 데이터셋에는 문제 해결, 대화, 코딩, 시, 노래, 이야기 등 다양한 예시 포함
  • GPT-J와 LLaMa 체크포인트에서 파인튜닝
  • 모든 학습 데이터, 코드, 체크포인트 공개
  1. 2023_GPT4All_Technical_Report.pdf
  • GPT-3.5-Turbo API로부터 100만 개 prompt-response 수집
  • Stack Overflow, LAION 데이터셋에서 추출
  • Atlas 사용해 데이터 정제
  • LLaMa 7B 파인튜닝해 GPT4All 모델 개발
  • 모든 데이터, 코드, 모델 체크포인트 공개
  1. 2023_GPT4All-J_Technical_Report_2.pdf
  • GPT4All-J 모델 출시
  • 80만 개 큐레이션된 데이터셋으로 GPT-J에서 파인튜닝
  • 시, 랩, 짧은 이야기 등의 창작적 작업 성능 향상
  • Apache 2 라이선스로 공개
  • 모든 데이터, 코드, 체크포인트 공개