[📪정보] phi-3 mini는 한국어 못함

[익명(123.100)]

small, medium은 다국어 데이터 10% 사용했는데

mini에는 안썼음.

mini랑 small, midium이랑 토크나이저도 다르고 약간씩 차이점이 있음

논문 내용 :

phi -3-small 모델(7B 매개변수)은 어휘 크기가 100352인 tiktoken 토크나이저(더 나은 다국어 토큰화를 위해)를 활용하고 기본 컨텍스트 길이를 갖습니다. 8 케이 . 이는 7B 모델 클래스의 표준 디코더 아키텍처를 따릅니다. 32 레이어와 숨겨진 크기 4096 . KV 캐시 공간을 최소화하기 위해 모델은 다음과 같은 그룹화된 쿼리 주의도 활용합니다. 4 쿼리 공유 1 열쇠. 또한 phi-3-small은 Dense Attention과 새로운 Blockparse Attention의 대체 레이어를 사용하여 긴 컨텍스트 검색 성능을 유지하면서 KV 캐시 절약을 더욱 최적화합니다. 이 모델에는 추가 10% 다국어 데이터도 사용되었습니다.

(본문과 상관없는 이미지)

[익명(211.212)]

[익명(221.144)]

난 llm 파인튜닝 안 해봤는데 미니에 한국어 데이터 파인튜닝하면 쓸만해지나?

[oo(venchoi)]

못씀 - dc App