[🙋토론] 난 validation set 쓰는 이유 이렇게 배웠는데

[익명(112.170)]

학부생따리고 머신러닝 수업 들은 거 기준임 석박행님 틀린 부분 있으면 지적 부탁드립니다.

일단 줄여서

training set -> trs

validation set -> vs

test set -> tes

라고 부르겠음

1. 기존 trs + tes의 한계

일단 trs랑 tes 두 개만 있는 상황을 생각해봤을 때

일단 우리가 적당한 하이퍼파라미터로 trs를 가지고 학습시킬 거 아님

근데 훈련 끝내고 tes를 돌려보니 평가 지표가 좀 맘에 안듦

그러면 우리는 두 가지밖에 없으니까... 다시 하이퍼파라미터 수정한 다음에 trs로 학습시키고 tes 돌리고 해서

평가 지표가 좋게 나올 때까지 반복할거 아님??

그러다가 아 이정도면 평가 지표가 좋게 나오네! 하고 생각되는 하이퍼파라미터 결과를 고르는 거지.

근데 그렇게 해서 평가 지표가 좋게 나오게 훈련된 모델은

tes에 오버피팅될 확률이 높다는 거임. 당연한 거지.

2. vs 도입

그래서 그 trs가 100이라 하면, 그걸 trs 80 vs 20정도로 두는 거임.

그리고 trs로 돌린 학습 결과를, tes에 바로 돌리는 게 아니라 vs에 1차로 초벌을 돌리는 거임.

그리고 그 vs로 테스트한 평가 지표를 보고, 이 하이퍼파라미터를 채택할지 말지 결정함.

이것도 마찬가지로 하이퍼파라미터 바꿔기면서 이정도면 되겠다! 싶은 평가 지표 결과물로 하이퍼파라미터 결정함.

이 방법을 통해, tes는 정말 test 용도로서 마지막 1번만 쓰이게 돼서, vs에 오버피팅될 수는 있어도 tes에 오버피팅될 확률은 낮아짐.

3. 초기 vs 구조의 한계

근데, 이런 vs에도 문제가 있었음.

하나의 vs로만 하이퍼파라미터를 결정하고 있었기에, 그 vs에 오버피팅될 수 있다는 거임.

그래서 예를 들어 vs에 tes랑 겹치는 게 많은 데이터가 들어갔다면 vs로 조정한 결과물이 평가 지표가 좋게 나오지만

vs가 tes랑 너무 이질적인 데이터가 들어갔다면 평가 지표가 당연히 안좋게 나옴.

(근디 이거 랜덤으로 돌리는데 진짜 그렇게 편향될수가 있나 궁금하긴 함... 막 vs엔 고양이 사진, tes에는 자동차 사진 이런 것들이 편향되어 들어가는 예시가 있을 것 같은데, 현실에서 그런 사례가 있음?? 데이터 랜덤으로 하는데 그런 편향이 가능함?? 이거 궁금한디 답변좀요)

또한, 최근의 딥러닝과 달리, 고전적인 머신러닝에서는 훈련에 쓰는 data set 개수가 많지 않은 경우가 많았음. 여러 이유들이 있지만 딥러닝처럼 데이터 개수를 늘린다고 성능이 더 좋아지지는 않았어서(물론 좋아지긴 하지 근데 딥러닝만큼은 아니란거)

그러다 보니, trs 크기도 가뜩이나 작은데 여기서 20%나 vs에 떼주는게 너무 아까운거임. trs를 기존의 80% 크기로 써야하는데 억울해 안해???

그래서 k-fold vs(줄여서 kvs)가 생김.

4. kvs의 등장

이 kvs는 trs를 100이라 하면 vs를 예를 들어 vs를

1. 20% vs vs 80% trs

2. 그 다음 20% vs 그리고 나머지 80% trs

이런 식으로 trs를 여러 fold로 나눠서, 각 fold에게 번갈아가며 vs를 배정해주는 거임.

이건 특히나 위에처럼 데이터 개수가 적은 머신러닝에서 되게 효과적이었음. trs를 80%밖에 못 쓸거를 100%나 쓸 수 있게 되는거임.

게다가 딥러닝 머신러닝 전반적으로, vs를 하나만 둬서 발생가능했던 vs 오버피팅에 따른 tes 결과 변동 가능성도 해결이 어느정도 가능했음.

그러나 그럼에도 불구하고 딥러닝에서는 k fold를 그다지 반기지 않았음.

5. 딥러닝에서 k fold를 반기지 않은 이유

일단 딥러닝은 다들 알다시피 trs가 ㅈㄴ 큼.

그러다보니 학습 시간도 오래걸려서 머신러닝마냥 매 훈련마다 *k의 훈련을 시킬 시간이 아까운거임.

그거 하다보면 날 다 새겠다 아오!!

그리고, 마찬가지로 trs가 ㅈㄴ 크기 때문에 굳이 kvs를 쓰지 않아도 하나의 vs를 써서 생기는 오버피팅 문제가 그다지 크지 않았음. 즉 충분히 일반화가 가능했음.

근데 둘 중에 전자의 문제가 제일 큰거같긴 함.

솔직히 gpu 병렬 오지게 돌려도 시간 오래걸려서 문제라고 하는데 그걸 매 학습마다 k번씩 더할 여유가 어딨음

그래서 딥러닝에선 대부분 그냥 vs를 쓴다고 함. 굳이 따지면 k=1인 kvs겠지?

6. 몇몇 논문들의 꼼수

이건 좀 저도 그냥 들은 찌라시인데...

예전에 나온 논문들 중에서 vs의 일부가 tes에 들어가서 자기 모델이 평가지표 좋게 만들어진 걸로 의심되는 논문들이 있다는 것 같음.

근데 그게 의도가 아닐 수도 있고 실수가 아닐 수도 있고...

쨋든 trs든 vs든 그게 tes에 섞이면 안된다는 건 암묵적인 룰이고, 평가 지표 높게 나오는 걸 위해서 tes에 vs를 섞는 짓은 하면 안된다...는게 정설인걸류 알고있음

(이거 6번은 저도 정확히는 몰라서... 님들 답변좀요)

https:/@/m.dcinside.com/board/deeplearning/4505

위에 질문글 보고 개념 정리할겸 써봤습니다..

틀린 부분 있으면 적극 지적해주삼... 감사합니다

[딥삣삐 1(211.235)]

역사를 써놨노 3줄요약 ㄱ

[익명(112.170)]

claude한테 물어봤더니 개지리게 요약해주네

[딥삣삐 2(211.235)]

클로드 코드잘짜더라

[익명(112.170)]

님도 ㄱㄱ

[익명(122.47)]

살다살다 trs, vs, tes로 줄이는건 처음 보네...

[익명(118.235)]

모바일로 쳤어서 뭐라 줄이기가 애매했음...ㅠㅠ 보통은 뭐로 줄여 부르나요

[익명(122.47)]

train, val, test로 쓰죠 보통은?? 코드에서도 그렇게 이름 붙이고요

[익명(112.170)]

아 몰랐었는데 감사합니다 혹시 본문에 틀린내용 있을까요

[익명(122.47)]

죄송 그거 보고 불편해서 내용 안보고 바로 내렸네요. K-fold Cross Validation도 K-fold CV로 줄입니다 보통

[익명(112.170)]

아... 하긴 이런 명칭들도 괜히 표준이 있는게 아니니까 다음에 글 쓸때는 참고할게요 감사

[익명(122.47)]

대충 보긴 했는데 내용 맞는거 같네요. 그리고 K-fold는 언급된대로 학습시간 비용 때문에, 주로 competition 막바지에서 많이 쓰는 편입니다. 궁금하면 K-fold hook도 찾아보세요. Lottery 관련한 연구도 많아요

[익명(112.170)]

감사합니다 lottery라는 단어는 운영체제 공부할 때 봤었는데 어떤 내용일지 재밌어보이네요 나중에 꼭 찾아볼게요