회사에서 좁은 분야에서 쓰이는 모델 개발하는 중
언어모델 그런거 아님. 회귀모델 임.

상황은 내가 만든게
테스트 셋 5개 중 4개에서는 경쟁 모델들보다는 낫거나 대등함. 한 개는 유사한 수준

퇴사한 전임자가 만든건 4개에서 떨어짐.
근데 하나의 테스트셋에서 압도적임.

문제는 전임자가 만든게 회사 CTO가 꽂혀있는 테스트셋이라서 왜 성능 안나오냐고 문제 있는거 아니냐고한다.

아무래도 전임자가 해당 테스트셋을 밸리데이션이나 트레이닝셋으로 쓴게 아니고선 경쟁모델들보다 10% point성능이 나은건 말이 안되는거 같은데

익명으로 끄적질하며 gpu를 갈구는거 외엔 답이없는거 같다.

님들은 CTO되건 교수되건 특정 테스트셋에서 성능이 압도적이라고 보고하는 부하나 학생이 있으면 별도의 테스트셋에서도 테스트해보라고 반드시 지시해라.

그리고 어느 테스트셋에 특별한 이유가 없으면 깊은 애정을 품지 말길. 애정이 있다면 직접 모델 받아다가 개발자로부터 분리시킨 환경에서 블라인드테스트해야함.