저희는 누구나 고품질 훈련 데이터를 사용하여 한 대의 머신에서 30분 만에 오래된 오픈 소스 대규모 언어 모델(LLM)을 학습시켜 ChatGPT와 같은 마법의 명령어 추종 능력을 갖출 수 있음을 보여줍니다. 놀랍게도 명령어 추종에는 최신 모델이나 가장 큰 모델이 필요하지 않은 것으로 나타났습니다. 

GPT-3의 매개변수가 1,750억 개인데 반해 저희 모델은 60억 개에 불과하기 때문입니다. 

저희는 모델(돌리)의 코드를 오픈소스로 공개하고, 이를 데이터브릭스에서 어떻게 다시 만들 수 있는지 보여줍니다. 돌리와 같은 모델이 LLM을 대중화하여 극소수의 회사만 감당할 수 있는 것에서 모든 회사가 소유하고 커스터마이징하여 제품을 개선할 수 있는 상품으로 전환하는 데 도움이 될 것이라고 믿습니다.




This discovery indicates that the instruction-following capabilities of state-of-the-art models may be attributed more to focused training data rather than larger or better-tuned base models.