알다시피 파라메타 늘어나면 컴퓨팅자원이 엄청 소모가 됨
그런데 파라메타 늘어나서 컴퓨팅자원 소모되는거에 비해 성능향상은 미미함
그래서 학습데이타의 정제에 더 힘쓰고 있고
그렇게 정제된 학습데이타로 sllm 만들어보니 쓸만함 (Phi-2같은거)
그래서 갖고 있는 데이타셋 정제해서 같은 파라메타로 학습하면 그게 더 좋음
알다시피 파라메타 늘어나면 컴퓨팅자원이 엄청 소모가 됨
그런데 파라메타 늘어나서 컴퓨팅자원 소모되는거에 비해 성능향상은 미미함
그래서 학습데이타의 정제에 더 힘쓰고 있고
그렇게 정제된 학습데이타로 sllm 만들어보니 쓸만함 (Phi-2같은거)
그래서 갖고 있는 데이타셋 정제해서 같은 파라메타로 학습하면 그게 더 좋음
데이터, 컴퓨팅, 모델규모 삼박자가 맞아들어가면서 커져야되는거라 매개변수만 뻥튀기하진 못하는거