[일반] SWE-벤치 Pro는 데이터셋이 2종이라 점수도 2개 나옴

[익명(compact5711)]

https://scale.com/leaderboard/swe_bench_pro_public

오픈소스 소프트웨어 데이터셋 결과

https://scale.com/leaderboard/swe_bench_pro_commercial

독점 소프트웨어 데이터셋 결과

오픈소스 소프트웨어 데이터셋은 빡센 카피레프트 라이센스 적용된 레포지토리에서 가져온거라서 AI 회사가 학습 데이터셋에 넣으면 라이센스 위반이라 오염이 없을거라는 주장

독점 소프트웨어 데이터셋은 벤치 만든 회사가 스타트업들과의 파트너십으로 확보했다고 함

독점 소프트웨어 데이터셋에서는 클로드 오퍼스 4.1이 확실히 1등임

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(compact5711)]

흥미롭습니다

[연금술사82(accept4071)]

이래서 기업에선 클로드를 쓰는건가

[익명(compact5711)]

여기에다가 B2B는 더 잘 관리해서 최근 이슈가 적거나 없었을지도?

[익명(compact5711)]

최근 이슈뿐만 아니라 각종 이슈들 전반적으로 ㅇㅇ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(compact5711)]

코덱스 전용 모델이라 동일 환경 부여가 어려워서 빠졌거나, 나오기 전에 테스트해서 그런 듯?