또한 phi-3-small 및 phi-3-medium이라고 하는 4.8T 토큰에 대해 훈련된 7B 및 14B 모델을 사용하여 일부 초기 매개변수 스케일링 결과를 제공합니다. 둘 다 phi-3-mini보다 훨씬 더 성능이 뛰어납니다(예: 각각 75% MMLU에서는 78%, MT-벤치에서는 8.7과 8.9).


14B까지 초기 스케일링 결과인데 성능 점프 상당하네...
70B 확장하면 몇점 나올지 궁금하노

- dc official App