[❓질문] external validation

[딥부이(180.224)]

internal test accuracy는 나쁘지 않은데, external test set에서 15퍼센트 이상 떨어지는데, 이럴경우 일반화 성능을 올려주기 위해 어떤 작업 하시나요??

[딥부이 1(114.206)]

overfitting 검색

[글쓴 딥부이(180.224)]

overfitting도 상황이 여러개라,, 좀만 더 자세히 알려주시면 감사하겠습니다

[익명(118.235)]

밑 댓글처럼 님이 어떤 데이터셋에 어떤 모델을 썼는지 모르는 상황에선 더 자세히 말하기가 어려워요

[딥부이 2(125.182)]

무슨 모델을 썼는지, 어떤 데이터셋인지, 어떤 최적화 방식인지 등등 아무것도 모르는데 명확한 답을 알려줄수가 없지..... 당장 오버피팅의 직접적인 문제로 생각나는건 모델 차원이 데이터에 비해 너무 커서 과대적합되거나, 결정트리같이 본 데이터에 너무 딱 잘 학습되는 모델을 사용했다거나, 훈련, 테스트, 검증으로 분류한 데이터들의 라벨 별 비율이 어긋나거나 등등 다양한 요소가 있을 수 있고 릿지나 라쏘, 혹은 지역최적점에 빠진거면 모멘텀이나 adam 등등의 규제를 쓸 수 있을거고, 모델을 더 간단하게 혹은 다른걸 쓸 수 있을거고, 데이터를 분리할 시 스케일링을 하거나 비율을 동일하게 분리하는 등의 대안이 있겠지. 당장 생각나는건 이정도 ㅇㅇ - dc App

[글쓴 딥부이(180.224)]

감사합니다!!