Grid search 같은 나쁜 말은 노노해줘 제발
그럼 남은거라곤 Bayesian optimization 이거뿐인데
나 지금 low-level에서 커스텀으로 다 작성하는 중이라...
그 개같은 sklearn 라이브러리 이런거 너무너무 쓰기 싫고 불가능한 수준일텐데
이놈의 하이퍼파라미터가 문제네
모든게 의심스러워 심지어는 adam optimizer에 beta_1, beta_2 아니 심지어 optimizer 종류까지도....
고수분들 대체 하이퍼파라미터 어떻게 정하시나요...힌트 좀 간곡히 부탁드립니다..
여러 모델 돌릴정도로 리소스 풍부하면 유전 알고리즘 같은 휴리스틱이 제일 적당한데, 사실 하이퍼 파라미터 탐색 자체가 논문에 크게 영향을 미치는 요소는 아니니까 적당히 해
논문 쓰는게 아니라 내 모델 성능이 나와야 되는건데...
휴리스틱이라는게 결국 이거저거 다 해보고 니 생각대로 설정하셈~ 이라는거고 그걸 좀더 세련되게 한게 베이지안인데..
그냥 성능향상이 필요하면 하이퍼파라미터 수정말고 데이터 더 추가하거나 모델 바꾸는게 훨씬 쉽고 효과좋음
엄청 특이한 케이스 아닌이상 튜닝만으론 잘 알려진 기본 hyperparameter를 크게 이길일이 없음
멘트 고맙다...다른 분들도 하실 말씀 있으시면 남겨주셈
결국 베이지안이 답인가..
진짜 개쪽팔린데 그리드도 안하고 감으로 몇번해봄 ㅋㅋㅋㅋㅋ 난 어차피 페이퍼위주라 작동하는 아이디어라면 성능 플럭츄에이션은 본질적인건 아니라 그렇긴했어. - dc App
당연히 이니셜은 비슷한 문제에서 다른 워크에서 썼던걸로 잡고 - dc App
솔직히 이게 정답 아님? 솔직히 지금 모델들이 초창기처럼 Learning Rate 한땀 한땀 조절하면서 성능 나오는 시절도 아니고 지금 딥러닝 모델에서 하이퍼파라미터 찾는게 의미가 있나 싶음 걍 성능이 안나오면 모델 구성이 잘못되었거나 데이터 문제가 90% 이상이라고봄
멘트 감사합니당