[일반] 이걸로 r1이 o1 이상인게 증명됐네

[익명(shore1232)]

정답률 자체는 비슷해 보여도 Calibration error에서 차이가 크네 

r1이 정답이라고 생각하는게 실제로 정답일 가능성이 O1에 비해 크다

거기에 가격이 30배나 싸다? 안 쓸 이유가 없지 ㅋㅋㅋㅋㅋ

[익명(210.108)]

근데 r1은 멀티모달 아니라서 혼자 테스트가 다름.. 저기 써있잖어. O1도 같은 방식일 때 어땠을지 궁금하네.

[익명(121.178)]

텍스트 only로 측정하면 o1 8.6%로 감소함 - dc App

[익명(shore1232)]

아 그렇네 그래도 그거 감안해도 구리다고 볼 수는 없는듯

[익명(121.178)]

8.9%였네 - dc App

[익명(1.247)]

와 맥에서 4비트 양자화로 굴리면 어떤 느낌일까