[일반] 사람을 믿지말고 추세선을 믿으라고

[이세이미야케(jkwarawara)]

그러면 인터뷰, 트윗 하나에 일희일비 할 일이 없어짐

[익명(lake9413)]

그 추세선 얘기하는 사람이 만약 안좋게 가면 좃될수도 있다잖음 ㄷㄷㄷㄷㄷㄷㄷㄷ

[이세이미야케(jkwarawara)]

그럼 죽어야지 어쩔 수 있나

[익명(shore1232)]

문제는 저 "추세선"이 환상일 가능성이 있다는거임. 괜히 벤치딸 얘기가 자꾸 나오는게 아녀

[Borazine(player4081)]

[이세이미야케(jkwarawara)]

대체 왜? 무슨 이유로?

[익명(shore1232)]

벤치마크가 ai의 능력을 제대로 반영하는게 맞는가? 정말 지능을 제대로 측정하는게 맞나? 이 질문의 답을 모름. 실제로 수학 테스트중에서는 숫자만 바꿔도 점수 떨어지는 모델들이 많음.. 벤치가 모델의 능력을 어느정도 반영하는게 맞긴 하겠지만 그 구조상 골대를 계속 뒤로 옮길 수 밖에 없음

[Protactinium(comic9287)]

원래 저런 벤치는 성능향상될수록 지수그래프가 아니라 로지스틱 그래프를 그리면서 포화되는게 보통아닌가

[이세이미야케(jkwarawara)]

튜링 테스트가 진작에 통과 됐음에도 AGI가 아닌 거랑 비슷한 문제네. 개인적으로 프론티어 매스같은 최고난도 벤치를 뚫을 정도라면 지능 상으론 더 이상 측정할 필요가 없다고 생각해서 뭐.. 기다려보면 알겟지

[멘토스(gblzvhbddpj2)]

don't die. take it easy

[이세이미야케(jkwarawara)]

죽기에는 너무 아쉬운 시대

[익명(115.139)]

이건 실제수행능력을 제대로 측정하는 벤치가 없어서 생기는 문제지

[이세이미야케(jkwarawara)]

SWE 벤치가 그런 류의 벤치마크 아님? 일단 장기기억이랑 에이전트가 나와야 뭐가 될 것 같긴 함.