[일반] 저 simple task 벤치마크 저격좀하자면

[탈조선(reuse2097)]

말장난가지고 얀르쿤마냥 llm 추론못한다고 개소리하지마라. 라는거

저거 벤치마크 만든애도 그냥 트위터중독자에 뽕좀채우려고 만든거 그이상

그이하도아님

대부분의 벤치마크는 사실 쓸모가없음

[익명(kist1212)]

하긴, 직접써보고 뭐가자기한테 잘맞는지가 젤중요한듯 절대적인 기준은없는거같고

[익명(59.27)]

이새낀 병신인가 ㅋㅋ

[익명(49.167)]

뭔 개소리야 사과 1개 배 1개, 총 과일 몇개? 사과 2개 배 3개, 총 과일 몇개? 여기서 1번은 맞추고 2번은 틀린다는건데 그럼 이게 추론모델로서 가치가있음?

[탈조선(reuse2097)]

이것은 연구 논문이 아닙니다. 이것은 어떤 멍청이가 어떻게 프롬프트를 하는지 모르기 때문에 나쁜 결과를 얻는 것이다. 나는 PHI3 mini로 로컬로 실행하더라도 그의 테스트에서 100% 정확한 결과를 얻는다. 그는 단지 그것을 이상하게 표현했다