[일반] oai 툴 벤치나, 클로드 swe 80퍼나, 그록 4 툴 벤치나

[익명(180.66)]

현시점에서 툴을 사용한 벤치를 보여주는 것은

인위적으로 벤치를 뻥튀기시켜서 눈속임을 하겠다는 것과 다를게 없다고 봄 

cons@64랑 거의 다를게 없다고 생각 

난 그래서 툴을 사용하지 않은 pass@1 벤치만 봄

[이 댓글은 게시물 작성자가 삭제하였습니다.]

이 댓글은 게시물 작성자가 삭제하였습니다.

[메론맛콜라가먹고싶어(victim4811)]

너무 구시대적인 발상 아닌가 쓰라고 툴이 있는데 결과만 좋으면 됐지

[익명(180.66)]

그럼 저 그록 4 헤비의 툴을 사용한 압도적인 벤치가 실제 성능일까? 툴을 사용한 벤치는 툴을 어떻게 쓰는지도 알 수 없고 다른 회사의 모델들과 비교할시 똑같이 비교할 수도 없음

[익명(180.66)]

그래서 그록 4 툴을 쓴 거랑 안 쓴 거랑 차이가 ㅈㄴ 심하잖아 인위적으로 뻥튀기가 가능하다는 거임

[야하이잇(dignity123)]

난 슬슬 벤치 분리가 필요한 시점 아닌가 싶긴함 툴 사용한 애들 많아지긴 해서

[야하이잇(dignity123)]

모르는 사람이 대충 보면 툴 사용이랑 미사용 모델 멋대로 비교하기 쉬우니

[익명(180.66)]

ㅇㅇ 분리를 명확하게 하고 툴을 사용한 모델은 oai처럼 다른 모델이랑 비교를 하면 안 된다고 생각

[익명(compact5711)]

툴 사용한걸 명확하게 표기하고 분리해서 보여주면 문제는 없지

[ㅇㅇ 1(175.194)]

그런 의미에서 그록4 헤비가 개악질인게 은근슬쩍 HLE 벤치 no tools 성능 누락함 ㅋㅋ

[익명(compact5711)]