[일반] 데이터 전처리

[익명(223.62)]

평균이나 구간 나눠서 nan값 채울때 test데이터는 포함시키면 안되는거 아닌가요?? 캐글 노트북보면 결측치 값 정할때 훈련이랑 테스트 묶어서 계산하는 경우가 있던데..

- dc official App

[tpptpp(tpptpp)]

Test 데이터는 애초에 모른다고 가정하는게 당연한거라 그럼 ㅇㅇ 단 하나의 데이터만 주어도 모델어 넣어서 결과를 뽑게 만들어야 하는데 다만 스코어 평가를 위해 다량의 데이터를 주는것 뿐임 즉 테스트 데이터의 통계량을 이용한다는거 자체가 말이 안되는거 ㅇㅇ 우리는 실제로 모델링 후 들어올 데이터에 대해 하나도 모르는게 정상이거든 즉 불가능한건 전처리 과정에서 테스트 데이터셋의 정보가 들어가는 일련의 과정만 해당함 - dc App

[tpptpp(tpptpp)]

Train 데이터의 통계량을 이용하여 테스트 데이터의 결측값을 메꾸거나 정규화(train 데이터의 최대 최소만 사용하여서)하는건 가능 ㅇㅇ 이 과정에서 테스트 데이터의 정보가 들어가는 것은 대부분의 대회에서 데이터 누수라고 금지하는 경우가 많음 - dc App