지금 코인차트의 매우 정확한 미래예측을 하려고 모델 개발중임.
tcn네트워크를 서로 계열이 같은 4종류의 시계열로 4개의 네크워크 구성하고
이걸 최종 tcn네트워크 하나로 앙상블 한 다음에 멀티헤드어텐션 적용해서 입력시퀸스 내부 의존성 학습시키는 상태인데
이게 암만 해봐도 딱 2번째 epoch에 가장 검증시퀸스(학습데이터랑 분리된 데이터)에 대한 미래 시퀸스를 잘 예측하고 있음.
문제가 3번째 epoch부턴 계속 과적합이 돼서 차트 자체는 그럴듯하게 나오는데 완전히 실제랑 다른 차트가 되어버려.
dropout이나 weight decay말고 다른 혁신적인 방법이 없을까? 이건 조정을 해도 해결이 안되고 있어
이거 과적합 문제만 해결하고 증분학습 가능한 상태로 만들 수 있으면 좋겠는데.. 딥붕이들이 도움주지 못하면 모교 교수님한테 연락해볼거야
교수님한테 물어보는건 꺼려지는게 내가 회사 다니면서 알음알음 연구한거 다 뺏길 리스크를 감수해야돼서 딥붕이들 도움 앙망함..
차원을 낮추셈 모델의
의견고마워
timellm
오 한 번 배워볼게
엔지니어링 측면이라 교수도 잘 모를듯
그치 나만 손해볼거 같아
우리 교수님이 이거 비슷한거 해보던데 걍 데이터가 1짱이래 - dc App
optimizer쪽 연구를 보던가 딥러닝에선 별로 뭐 할 여지가 없음
딥러닝하고 머신러닝 앙상블 시키는게 제일 성능이 잘 나온다는데, 이렇게 해보시는게 어떨까요? - dc App
딥러닝 자체가 비정형 데이터에 대해서 성능이 좋은것이지, 저렇게 정형 시계열데이터에서는 머신러닝도 성능이 괜찮거든요 - dc App