작은 모델로 mmlu 높게 나오는건 지능인거 같음
적은 파라메터로 mmlu 높은건 똑똑은 한데 헛똑똑이 같은 기분?
벤치마크 점수만 높고 실 성능은 별로란 거임? - dc App
지시사항 이해는 잘하는데 가지고 있는 지식이 얼마 없어서 답변 퀄러티 구리다는 이야기임 얕은 지식 가지고 있는 새끼랑 대화하는 느낌
벤치마크 점수만 높고 실 성능은 별로란 거임? - dc App
지시사항 이해는 잘하는데 가지고 있는 지식이 얼마 없어서 답변 퀄러티 구리다는 이야기임 얕은 지식 가지고 있는 새끼랑 대화하는 느낌