[❓질문] early stopping 질문

[익명(180.224)]

에포크 30부근에서 loss가 최적점을 찍고 더이상 그 이하로 안떨어지기 때문에 모델은 에포크 30에서의 가중치를 기록하는데, 문제는 직접 외부 테스트 해보면 이게 에포크 30은 학습 자체가 덜 된 상태이다 보니 제대로 예측이 안됩니다. 이런 상황 겪으신 분들 있나요? 어떻게 해결하셧는지..

[익명(civil2631)]

학습률, 스케줄러, 데이터셋 등등 조정해서 다시 학습해보기

[Cytrus(minhyoo1)]

내 생각이니 참고만 하삼. 1. 우선 30에폭일때 학습이 덜 되었다 > 너무 교과서적인 생각같음. 학습이 충분히 잘 되었느냐는 그냥 메트릭으로 판단하는거임. 지금 val_data 상에서 30에폭일때가 가장 최적점이라 판단하고 갖다쓴거고, 실제 현장 결과가 안좋은건 그냥 학습데이터와 실제데이터간 분포가 많이 다르기때문임. 이건 엄청 보편적인 케이스

[Cytrus(minhyoo1)]

그래서 도메인 지식을 좀더키워서 더 적합한 메트릭도 매 에폭마다 남겨서 learning curve를 그려보고 다른 에폭을 가져다쓰는거임. 이진분류면 precision을 또보고 이런거처럼...이건 너무 도메인마다 다르니 직접봐야함

[Cytrus(minhyoo1)]

2. early stopping 개념이 좀 틀린거같음. 보통 학습시간 최적화를 위해 커브보고 끊는건데 지금처럼 걍 쭉 돌릴거면 매 에폭마다 체크포인트를 남겨놓고 현장가서 체크포인트별 메트릭을 쭉 남기삼. 그리고 매 에폭별 val loss랑 test metric간의 상관관계를 알아내야 감이좀 잡힐듯

[익명(180.224)]

오 감사합니다. 진짜 도움되네요

[익명(180.224)]

그런데 실제데이터랑 학습데이터 모두 같은 병원에서의 환자 데이터를 스플릿 해서 나눈건데 차이가 심할 수 가 있나요??

[Cytrus(minhyoo1)]

어떻게 스플릿을 한건진 몰겠지만 의료데이터에선 intersubject variability가 강해서 같은병원이여도 서브젝트마다 분포가 다름. 그래서 보통 calibration phase를 거쳐서 transfer learning등 써서 파라미터 분포를 땡겨옴.

[Cytrus(minhyoo1)]

leave one out cross validation, domain adaptation 혹시 첨들어보면 참고해보셈

[익명(180.224)]

감사합니다ㅏ