[일반] 엥 이거뭐임?

[익명(59.28)]

시험 상수 값 바꿔서 돌렸더니 성능 꼴아박았다는데 ㄷ 

[FIREKICK(firekick)]

모델들이 지금 너무 과적합되어 있어서, 실제로 생각을 하고 추론을 해서 답을 하는게 아니라 인터넷어디서 봤던걸 그냥 그대로 복붙하고 있다는 다소 암울한 소식임... o1도 꽤나 크게 떡락한거 보면 흠.. 희망은 o3뿐인가..

[익명(59.28)]

에이 씨.발 결국 족보충이란 소린아님

[익명(59.28)]

아~ 특이점은 글럿다 그냥 존나 열심히 살아야지

[FIREKICK(firekick)]

근데 이거말고도 그 과적합전용 벤치 따로 있는데 유명한 트롤리 문제 꼬아서 "철로에 5구의 시체와 1명의 살아있는 사람이 묶여있을때" 같이 바꿔서 냈을때도 합리적인 답을 내놓는가 하는 벤치에서 내가 예전에 보기로는 이미 여기서도 그렇게 점수들이 좋지는 않았던거로 기억함.

[익명(175.199)]

o1이 아니라 o1 프리뷰 아니냐?

[FIREKICK(firekick)]

난 o1이든 o1 preview든 족보충이 아니라 진짜 추론을 하는 애들이라면 단순히 변수명을 바꾸거나 표현방식을 바꾼거 가지고 저렇게 차이가 나서는 안된다 생각함...

[익명(175.199)]

일단 o1은 어느정도 차이가 나는지 모르니까

[익명(124.199)]

아직까진 족보충에서 완전히 벗어나진 못한다는거지

[익명(circus0623)]

이게 ㄹㅇ

[익명(shore1232)]

흠.. 씹겨울이네

[익명(spoiler6984)]

'표현 방식' 건드린 벤치는 좀 걸러볼 필요는 있음. 그동안 ai 검증하겠답시고 여러 벤치들이 나왔었는데 저 표현방식 건드렸다는 벤치들 하나같이 벤치가 별로였었음

[익명(59.28)]

해리포터 를 학습시킨 뒤에 해리포터 등장인물들의 이름만 싹다 바꿔서 스토리만 같게 만든 작품인데도 동일한 작품인지 못알아봤다는거아님

[익명(spoiler6984)]

이게 24년 9, 10월에 발표된 벤치인데 지금까지 별 관심 못받은 이유는 너무 명확함. 난이도 세분화가 이뤄지지 않았고 데이터셋이 너무 작아서 데이터 신뢰성을 보장할 수가 없었음.