[📪정보] mmlu pro 업데이트 나옴

[익명(dlsjftldk)]

기존 mmlu 문제들 기반으로 선택지 10개로 늘리고 오류있었던 문제들 삭제하고 더 난이도 어려운 문제들 좀더 추가한 버전

벤치마크 정확도가 더 증가했다고함 프롬팅이나 이런 작은 변화에 점수가 덜 변한다고

https://huggingface.co/spaces/TIGER-Lab/MMLU-Pro

MMLU Pro - a Hugging Face Space by TIGER-Lab

gpt4o 72점

제미니  69점

클로드 68점

지피티 터보 63

[익명(nrmbexq4ckld)]

어쩐지 제미나이 성능 개좋더라

[익명(14.35)]

잼민이 좀 치노?

[익명(115.139)]

치타 슬슬 달리냐? 며칠후에 업뎃이라매

[gpt교주(pomcro)]

인간은 몇임?

[익명(222.102)]

뒷북 한달된거

[익명(dlsjftldk)]

제미니랑 gpt4o 점수 추가된거임 1시간전에 나온거

[익명(tulip8721)]

정보탭으로

[ㅇㅋ(aspect3751)]

이외끌올

[jjajahoo(pride5377)]

골대 옮기기 시작됐냐? - dc App

[익명(dlsjftldk)]

기존 mmlu가 프롬트에 작은 변화만 줘도 점수가 너무 확확 바껴서 그걸 좀다 안정화 했대. 그래프 보면 프롬팅 테크닉보다 실제 지능을 좀더 잘 표현해주는걸 볼수잇슴

[익명(115.139)]

mmlu특성상 계속 문제가 생길수밖에 없지

[1(175.123)]

난 오푸스가 젤 좋다고 체감되는데 (gpt 도 유로구독자) 왜 얘가 더 점수 낮게 나오냐?(나만 이렇게 느끼냐?)

[익명(dlsjftldk)]

이거는 지능이나 문제해결 위주 테스트구 문장력이나 지식 암기잘하고 이런건 또 다를수 있지

[익명(122.199)]

오푸스가 글빨이 좋아서 그런듯 나도 gpt보단 오푸스가 실사용에서 더 만족스러움

[익명(today0734)]

둘다 api로 이것저것 실험해본 입장에서는 거의 모든 상황에서 gpt가 나았음

[익명(today0734)]

나한텐 클로드가 좀 더 창의적이고 검열덜된 답변하는거만 장점으로 꼽을만했음 근데 지능적으로는 꽤 차이가 난다고 느꼈음

[익명(218.154)]

오 옴니가 현재 소타 인공이라고 보면 되네

[1(175.123)]

gpt4쓰면 코드 짜는 로직 좀만 복잡해도 맨날 허술하게 짜고 보완 요청하면 이전코드랑 변수명 바꾸고 다른 허술한 부분 생기게 짜서 뫼비우스 띠처럼 무한 오류 싸이클 돌아서 개짜증났는데 (중간에 변수명이랑 기존 기능 맘대로 수정하는것도 짜증났음) 이런거 gpt4o에서 고쳐졌냐;

[익명(39.123)]

거의 고쳐짐

[익명(1.252)]

안고쳐짐

[익명(223.38)]

4o에서는 청개구리됨 하라는거 반대로 함 ㅋㅋ

[퐁칸8(zxvw157)]

4 자체는 ㄹㅇ개좆밥됐네 - dc App