[일반] 언어모델 튜닝 질을 판단하는 기준같은게 있음?

[1234(125.14)]

gpt4같은경우는 퍼포먼스가 압도적이니까 딱 봐도 알겠지만 라마나 알파카같이 고만고만한 애들한테 한국어 튜닝시켰다고 했을때 튜닝 질을 판별하는 방법이 있음? 데이터질이나 파라미터같은걸로 판단할수밖에 없나??

[익명(163.152)]

그게 사실 어려운 부분임

[1234(125.14)]

그렇구만.. 그럼 걍 일단 접근성 좋은거 써야겠네

[익명(222.238)]

지금은 사람 선호도와 완전 일관성 있는 기준은 잘 없는 듯. 그런데 굳이 언어모델이 생성한 글이 아니더라도 같은 글을 보고 사람마다 평가하는 게 다르지 않나 - dc App