[일반] 클로드 벤치 결과는 믿음이안감

[홍커우(indian5383)]

소넷 4.5나왔을때도 코덱스압살할것처럼 벤치 높게나왔는데 

실사용후기는 ㅆㄹㄱ 였음 그당시에도 나도 그랫고 

그래도 클로드가 프론트하나는 기가막히는건 ㅇㅈ 

[sonnet3.7(liberal8774)]

오픈라우터에 집계되는 api사용량 통계보면 소넷4.5가 압도적임. 심지어 가격도 비싼데

[홍커우(indian5383)]

그럼머함 실사용해보면 코덱스찐빠 1번나는거 클로드 5~6번나는데 ㅠ

[sonnet3.7(liberal8774)]

@홍커우 미안한데 파일럿이슈가 제일 많은게 클로드임

[ㅇㅇ 1(169.211)]

@sonnet3.7 그래서 평가가 안 좋다는 거임. 이해를 잘 못하는 거 같은데;

[sonnet3.7(liberal8774)]

@ㅇㅇ1(169.211) swe 벤치가 파일럿 이슈까지 생각한 수치는 아니잖아?

[sonnet3.7(liberal8774)]

그리고 swe verified는 chatgpt랑 같이 만든 벤치임. 코딩벤치로 가장 신뢰받는 벤치기도 하고

[기도문(newzerg2)]

SWE는 문제해결보다 구현에 중점맞춘 벤치라 모델의 순수지능이 떨어지면 체감이 낮을수밖에없음 이번에 카카오에서 개최한 AI top 100 수상자들 대부분 코덱스로 문제해결함