어캐 하시나여 형님들
대학 졸업하고 의료쪽 테스크 하고 있습니다. 데이터가 200개 정도고, 양성이 70 음성이 130 정도가 있는 뷸균형 tabular dataset입니다.
목표 수치는 밖에 보여주려면 acc 0.8는 필요하고 개인적으로는 recall 0.7 이상을 기준으로 잡고 있습니다.
솔직히 별 ㅈㄹ을 다해봤지만 성능이 영 시원치 않아여.. 이런 task에는 어떻게 접근해야할지 조언을 구하려고 합니다... 휴리스틱한 아무 조언이라도 혹시 떠오르는 게 있으면 부탁드리겠습니다. (부족한 정보가 있으면 바로 추가하겠습니다)
그냥 xgboost랑 catboost, lightGBM, randomforest, logistic regression 5개 모델만 돌리고 앙상블로 비벼봐야할까요?
이게 (feature 경우의 수) X (모델 경우의 수) X (하이퍼파라미터 튜닝 경우의 수) 다 생각하려니까 너무 막막하네요...ㅠㅠ
[기타]
1. 너무 소형 데이터라 최종 평가는 loocv로 하려고하고 탐색은 stratifiedkfold (k=10)으로 진행하려 합니다.
2. 이상치 기준은 업계 기준으로 제거하고, feature는 여러 조합 시도해보고 있습니다. P값은 유의미한 게 별로 없더라고요..
3. 오버 샘플링 (SMOTE) 해보고 다른 기법도 섞어서 써보고 있습니다
4. AutoML(pycaret)로 대략적으로 살펴보고 있습니다.
5. 테블릿 데이터용 데이터 증강 (CTGAN) 기법 적용해봤는데 효과 없더라고요. 이런 애기 데이터는 증강이 효과가 거의 없는 편일까요?
- dc official App
Class weight 모델에 줘보셨나요
70:130가 뭐가 불균형이냐;;
SVM + 데이터 불균형 완화 기법
불균형이 아니라 걍 데이터가 너무 없는데요
풀려는 task가 뭔지, feature는 뭘 쓰고 있는지를 밝혀야 머라도 조언이 가능하지. 결국 중요한 건 있는 feature들만 가지고 어떤 task에 대해 잘하려면 모델이 어떤 패턴을 파악해야 할 지 생각하고, 200개 샘플이 그 패턴들을 전부 표현할 수 있을만큼 충분하지를 따져야 하는 거임 그냥 무작정 모델에 이것저것 실험해보는게 아니라. 예를 들어 유방암 탐지를 한다고 하면 성별 feature만 있어도 200개 샘플 가지고도 유의미하게 높은 성능 낼 걸?
의료쪽에 70, 130이면 감사합니다 수준 아니냐