[일반] 솔직히 gpt 말고는 벤치 신뢰 못하겠음

[익명(211.197)]

작년에도 gpt4를 따123잇했느니 어쩌니 했던 모델들 많았는데 막상 써보면 실망스러운 모델들이 많았어서

gpt 말고는 자기들이 주장하는 벤치 결과도 벤치 입맛에 유리하게 학습을 시킨거일 가능성이 크다고 생각함

[익명(1.237)]

올초 소라때도 그 얘기 나왔는데 지금은 클링 런웨이가 추월해 버려서... 몇달 지나면 실성능으로도 능가할걸

[익명(118.37)]

실제로 듣보 모델들이 gpt4를 땄다는 거의 상당수는 자기네 벤치 기준에 맞게 학습시켜서 그런거 맞는데 그런거 없이 객관적으로 벤치마크 하는데에서 지들과 상관없는 모델들끼리의 비교는 믿을만하지 gpt에 대한 억지혐오가 있는게 아닌이상 - dc App