[❓질문] 모델의 신뢰도 제시는 어케하면돼?

[Sesiwo(visiopo44)]

내 모델의 성능의 신뢰도는 어케 제시함? 통계적으로 제시하려하면 한번 트레이닝하는데 2시간 가까히 걸리는데 이걸 몇백번 할 수도 없고.. 보통 어떤식으로 납득시키냐

- dc official App

[익명(211.246)]

2시간이면 짧은거아니냐

[Sesiwo(visiopo44)]

그래? 하이퍼파라미터 찾을때 내가 찾은 값이 충분한 신뢰성을 갖기 위해선 trial별로 30번 이상씩 훈련하고 검증 해야하는거 아니야? - dc App

[Sesiwo(visiopo44)]

그럼 하이퍼파라미터 조합 50개만 시도해본다 쳐도 3000번인데.. - dc App

[익명(114.206)]

랜덤 시드 고정하고 돌려

[Sesiwo(visiopo44)]

고정하고 돌린다만 매 하이퍼파라미터 조합마다 조금씩 mse가 바뀌는데(early stop)단계도 그래도 걍 두세번으로 만족할 수 밖에 없음? - dc App

[익명(114.206)]

음... 하이퍼파라미터 조합이 달라지면 mse도 달라지는건 당연한건데.. 정확히 어떤 신뢰도를 얘기하는거야?

[Sesiwo(visiopo44)]

같은 하이퍼파라미터값으로 훈련해도 매번 새롭게 훈련하고 평가하면 조금씩 값이 달라지더라고 일단 그래서 keras tuner에서 제공하는 기능으로 trial마다 2번씩 try해서 평균치를 쓰고있는데 통계적으로 신뢰성을 보이려면 30번은 해야하는거 아닌가 해서 - dc App

[익명(114.206)]

랜덤 시드 제대로 고정하고 input이 항상 일정하면 결과값이 달라질 수가 없을텐데? 그리고 큰 차이 나는거 아니면 걍 무시해도 됨

[Sesiwo(visiopo44)]

train할때 epoch별로 랜덤셔플하는것도 고정해? 그건 아니지 않음? train val데이터 분리만 fix박음 되는거지? early stopping쓰고있는데 두 번의 try별로 stop되는 epoch가 다르더라고 mse는 0.005 정도 차이나는것 같은데 데이터 고려하면 그렇게 크지도 않지만 엄청작지도 않은 값이라.. 보통 이정돈 그냥 무시하고 씀? CLT근거해서 통계안내고? - dc App

[익명(114.206)]

그것도 다 고정하고 해야지

[익명(114.206)]

논문들 보면 모든 시드 다 고정해서 돌림

[Sesiwo(visiopo44)]

그럼 데이터의 순서가 학습에 영향을 끼치니 문제되지않음? - dc App

[Sesiwo(visiopo44)]

아 랜덤으로 섞되, 섞은 순서를 고정해야하는거? - dc App

[익명(114.206)]

시드 제대로 고정하면 섞는 순서도 일정하게 고정돼

[Sesiwo(visiopo44)]

ㅇㅎ 데이터의 순서가 언제나 일정하게 되는건 문제없는거? 일반화성능에 영향이 별로 없는건가.. - dc App

[익명(114.206)]

제대로 섞이기만 하면 ㄱㅊ

[Sesiwo(visiopo44)]

글쿠나..ㄱㅅㄱㅅ 후.. 일단 졸론은 내고 나중에 공개용땐 새로 해야겠다 - dc App

[Sesiwo(visiopo44)]

llm한테 물어보니 얘네는 랜덤시드에 대한 과적합을 막기위해 시드 고정안하면 평균적 성능을 위해 3try정도면 충분하다네 - dc App

[익명(112.187)]

통계나 데사하던 사람들이 신뢰도 얘기 자주하는데 딥러닝은 5회 평균 뭐 이렇게 하더라

[Sesiwo(visiopo44)]

혹시 논문이나 자료있을까..? - dc App