[📪정보] 잼민이 기존 0506 0325 벤치랑 비교

[야하이잇(dignity123)]

찾는 사람 있길래 올림. 위는 0506이랑 0325 비교 벤치 / 아래는 0605 신규 벤치
일단 0605가 대충보니 0325보다도 좋아지긴 한듯?

참고로 고컨텍 벤치는 MRCR v2 (8-needle) 로 또 새로운 어려운 벤치 가져왔음
다른 모델들과 비교해 고컨텍 성능 높은건 맞는데 기존 잼민이 모델에 비교해서 좋아진지는 다른 벤치 봐야 할듯?

[익명(carpet8836)]

livecodebench에선 0605가 떨어졋고 다른 코딩벤치에선 올라갓네

[익명(180.66)]

ㄴㄴ swe만 떨어진 거임 라코벤은 버전이 다름

[ㅇㅇ 1(121.135)]

좋긴 좋은거맞는데 연산량 확실 뺐던거같음. 기억력도 좀 떨어졌었음.

[야하이잇(dignity123)]

0506? 그건 벤치도 전체적으로 떨어지고 추론 연산도 이상하긴 했으니

[익명(49.246)]

쓰읍... 그냥 0325가 얼마나 좋았던건지 다시 느끼게 되는데

[익명(180.66)]

? 0605가 swe 빼고 0325 개처바르는데 라코벤도 버전이 다름

[야하이잇(dignity123)]

ㅇㅇ 코딩 빼고 다 좋아짐 어차피 0506 api도 남겨놔서 코딩쪽은 그거 쓰는게 더 좋기도 하고

[익명(49.246)]

@ㅇㅇ(180.66) swe 빼고 봐도 HLE, GPQA, AIME, MMMU 다 떨어졌는데 뭘 개처바른다른거임 진짜 모름

[ㅇㅇ 2(110.10)]

@ㅇㅇ(49.246) 윗짤은 05-06, 아랫짤은 06-05임 다시 확인해보셈