둘 다 3자가 Api 받아서 문풀 벤치 측정하는 건데
다른 점이 있다면 라이브벤치는 아예 고려할 필요도 없는 개쓰레기가 됐는데
Artificial analysis 여기는 AIME(2024년따리 구식이지만), GPQA, HLE 이런 게 포함되어 있으니까
기업들이 공개한 벤치가 제대로 되어있는 게 맞는지 대충 파악할 수 있음
Artificial analysis 저기서 순위가 좀 나왔다고 막 엄청난 권위가 생기는 건 절대 아니라고 생각
딱 문풀 벤치들 파악하는 용도
테스트 데이터셋이 다 공개된 벤치마크는 단 하나도 믿을 수 없음 모델 성능에 자신 있으면 openrouter에 올리면 됨 그럼 자연스레 적정수준의 사용량이 공개될텐데... 그럴 리가 없지 ㅋㅋㅋ