[일반] 이 벤치 기준이 뭐임?

[비닌(yoda1876)]

뭐에 따라 평가하는거임? 100%가 사람이고 100% 채우면 agi인건가?

- dc official App

[ㅇㅇ 1(121.178)]

수능이라고 생각하면됨 그냥 전체 문제 대비 정답 비율

[비닌(yoda1876)]

자체제작 벤치인가

[ㅇㅇ 2(14.38)]

그 벤치마다 이름이 써있잖아요. 추론 & 지식 / 과학 / 코딩

[비닌(yoda1876)]

아니 그러니까 그걸 뭘로 평가하냐 그걸 묻잖아요

[chatgpt4o(ejrtksfl2)]

인류마지막 문제도 연말에 100퍼 가깝겠네

[비닌(yoda1876)]

아직 21.6%밖에 안되는데요

[익명(swift7383)]

벤치 이름 써있는거 안보임?

[비닌(yoda1876)]

아 저걸로 검새하면 다 나오는구나

[ㅇㅇ 3(59.29)]

LLM은 다른 분야랑 다르게 벤치마크가 엄청나게 많음. 정확하게 맞는 정답이 없는 경우가 많아서. 그러다보니 LLM이 발전하면서 계속 새로운 벤치마크들도 나오는 상황이라 그냥 검색해보는 게 좋음.