추론 모델도 확률론적으로 추론하기 때문에 맞출때도 있고 틀릴때도 있음.
누가 입력하면 맞추고 누가 입력하면 틀리고 다음 모델되면 해결될 것들임.
지금 수능 수학은 pass@1으로 하면 96점쯤 될꺼 같은데 공부하기에는 충분한 수준이고
업무에 쓰려고 좀 더 정확하게 하려면 문제마다 3~4번 돌려서 동일한 정답 나오면 넘어가고
아니면 직접 검토한번 해보고 하면 될 문제임.
추론 모델도 확률론적으로 추론하기 때문에 맞출때도 있고 틀릴때도 있음.
누가 입력하면 맞추고 누가 입력하면 틀리고 다음 모델되면 해결될 것들임.
지금 수능 수학은 pass@1으로 하면 96점쯤 될꺼 같은데 공부하기에는 충분한 수준이고
업무에 쓰려고 좀 더 정확하게 하려면 문제마다 3~4번 돌려서 동일한 정답 나오면 넘어가고
아니면 직접 검토한번 해보고 하면 될 문제임.
이게 맞지 일단 사람보다 나은건 맞음 - dc App
수능문제가 또 좆밥이 아닌게 대학학부 문제는 학문의 직접적인 이해와 깊이와 관련된 내용들이어서 오히려 LLM들이 잘 이해함. 수능 문제는 알량한 지식으로 최대한 비직관적으로 꼬은 문제들이라서 LLM차원에서 볼때 가치가 낮을수 밖에 없음.