[일반] 이런거 보면 좀 인지부조화 생김

[익명(shore1232)]

현재 프론티어모델 기준 퍼트넘은 이미 정복했고 아카이브매쓰같은 나름 연구수준 하위권 벤치도 75% 찍는데 세금계산은 60%.. 

Ai가 느끼는 난이도의 기준이 궁금하네 

[AGI2025(occur7365)]

세금 계산은 법령 해석의 영역이 있어서 그런듯. 딱 정해지는게 아니라서.

[익명(thought6200)]

인간의 60%가 아니라 정확도가 60%라는거라서 실제 휴먼 전문가가 어느정도의 정확도가 나오는지가 핵심일듯 저것만 봐서는 솔직히 잘 모르겠음

[ㅇㅇ 1(125.132)]

언어모델이라서 수학적인 표현들도 다 언어적으로 받아들여서 그럼. 3+4=7도 우리가 받아들이기엔 숫자 3, 숫자 4, 기호 =, 숫자 7인데, LLM이 받아들이기엔 다 문자열(최종적으로 토큰)이니까.

[NLP(straight1861)]

답이 딱 정해지는 게 아니라, 무슨 해석의 영역이라는 말 있더라. 그래서 저 정답 60% 기준이 뭔지, 또 나라별, 지역별 편차도 있을거라. 자료 넣어주고 그 자료대로 계산해줘. 하면 안 틀리지 않을까 싶기도 하고.