[일반] 애플에서 오픈소스로 로컬모델 공개해줌

익명(110.145) 2024-04-25 12:42 추천 1

phi-3-mini-3.8b MMLU: 68.8 OpenELM-3B-Instruct MMLU: 24.8

그런데 병신임 ㅋ

심하노 금방 따라오길

익명(112.186) 2024-04-25 12:44
이건뭐 달팽이 수준

익명(dlwo0827) 2024-04-25 12:50
24.8이면 GPT 3.5급이나 그 이하로 생각하면 되나 - dc App

독라중기병(ehrfkwndrlqud) 2024-04-25 13:37
답글
아님 폐급임. 그냥 전기 낭비한거.

익명(110.145) 2024-04-25 14:01
답글
3.5보다 못해? 미친.. - dc App

독라중기병(ehrfkwndrlqud) 2024-04-25 14:05
답글
3.5 5샷기준 mmlu 71.4임

익명(118.235) 2024-04-25 15:43
답글
mmlu 수치 1점당 성능이 내 생각보다 놓았네... - dc App

독라중기병(ehrfkwndrlqud) 2024-04-25 15:44
mmlu가 문제를 주고 4가지 선택지 중에 하나 고르게 하는건데 25점이면 그냥 4개 중 하나 그냥 무작위로 찍었다는 소리임. 뭐가 측정이 잘못 됐거나 아니면 오래된 개빡통 모델을 내놓은 것 같은데

익명(118.223) 2024-04-25 19:40

댓글 8