어디 벤치마크 1등했다 이런거 대부분 오염된 벤치마크 학습해서 그거 1등찍고 보도 뿌려서 홍보하는거임...
이거 작년 초에 광기처럼 유행하던 방식인데 누가 logickor라는 제대로된 한국어 벤치마크 만들고 검증해보니까
그당시 한국어 sota 모델도 qwen2 겨우 이기고 한국어 성능 박살났다고 언플하던 gpt4가 1등먹어서 싹다 입닫고 모른척해서 묻힌거임ㅋㅋㅋ
슬슬 다시 기어나오나본데 걍 무시 ㄱㄱ
어디 벤치마크 1등했다 이런거 대부분 오염된 벤치마크 학습해서 그거 1등찍고 보도 뿌려서 홍보하는거임...
이거 작년 초에 광기처럼 유행하던 방식인데 누가 logickor라는 제대로된 한국어 벤치마크 만들고 검증해보니까
그당시 한국어 sota 모델도 qwen2 겨우 이기고 한국어 성능 박살났다고 언플하던 gpt4가 1등먹어서 싹다 입닫고 모른척해서 묻힌거임ㅋㅋㅋ
슬슬 다시 기어나오나본데 걍 무시 ㄱㄱ
해당 댓글은 삭제되었습니다.
그냥 한국거는 검증받기전까지는 거르는게 맞음. 이런게 한 두개여야지
개발하는건 응원해주긴 하는데 벤치가지고 장난질 많이쳐서 좀 그래 한국건
근데 솔직히 투자 받으려면 성과를 보여줘야 하는데 벤치 말고 보여줄 게 없긴 함. 그래서 나도 벤치가 어쩌구, 1등이 어쩌구는 흘려듣긴 하는데 비판할 생각까진 없음.
@ㅇㅇ3(59.29) 그럼 보여주질 말아야지
요즘 엑사원 글 많던데 그럼 엑사원도 그런 부류이려나 - dc App