[일반] 네이버 저거 자세히 보니 좀 졸렬한데

[솔.이☆(thfdldia123)]

걍 하다하다 안되니까 벤치 질문 자체를 전통주 어쩌구 한국의 어쩌구 이런거로 바꿔서 딸딸이 치는거잖아...

대체 왜 STEM 분야 벤치 질문이 우리나라 대도시지역의 문제라고 볼 수 없는것은? 이냐?

심지어 그래놓고도 gpt4 못딴게 코메디. 

엔지니어든 리서처든 저짓하면 스스로 안부끄러움?

직업의식이 없는거임? 뭐냐대체?

진짜 쪽팔리네

그보다 KMMLU 풀버전은 어디서보냐 논문엔 일부밖에 없는데 풀버전 까보면 가관일듯

[솔.이☆(thfdldia123)]

아 찾았다
https://huggingface.co/datasets/HAERAE-HUB/KMMLU

[익명(58.233)]

딱봐도 우덜식 평가임

[이런내가특특(andud96)]

kmmlu ㅇㅈㄹ ㅋㅋ

[이런내가특특(andud96)]

무슨 장난치누

[익명(58.125)]

우덜식 마케팅 용어라 하루이틀인가 ㅋㅋ

[익명(180.228)]

위에서 쪼이니까 실적은 내야겠고 자기네 기준 만들어서 뭔가 성과 내는 척이라도 할 수밖에...근데 gpt5나오면 다 끝일듯

[oo(119.202)]

그런데 벤치마크 자체를 만든 것으로 가지고 비판하는 것은 아닌 것 같습니다. 한국어 같이 비 주류 언어에 대하여 공개된 벤치마크도 없으면 한국어에 덜 신경쓰게 되어서 장기적으로는 손해라고 생각합니다. 그런데 도메인에 밎추어서 파인튜닝 했음에도 GPT-4도 이기지 못한 것은 부끄러운 일이긴 하네요.

[oo(119.202)]

공개된 벤치마크나 데이터셋과 같은 인프라가 그나마 있어야 해외기업에서 신경을 써줄 것 같습니다. 인프라나 벤치마크 점수도 없으면 아예 신경을 쓰지 않으니까요.

[익명(hyeongim264)]

[익명(211.248)]

엔지니어가 아니라 갈라파고스 나라의 직장인이라 부끄러움이 없다고 하네요ㅋㅋ

[익명(210.178)]

조센징이 뭘 만들었다 = 사기

[익명(210.178)]

조센징이 뛰어넘었다 = 주가조각