[❓질문] 학습안정성이 떨어지는데 RMSNorm 때문인가?

[딥부이(14.40)]

Transformer로 이것저것 붙여다가 시계열 예측하고 있음

Differential Transformer 쓰는데 Attention 두개 빼는걸로 구현하고 RMSNorm 쓰고잇음

이거 때문인지 Train이랑 Valid가 굉장히 오르락 내리락하는거 같음 LayerNorm으로 바꾸면 좀 개선되나 이런거?

[글쓴 딥부이(14.40)]

아 dropout을 0.5로 주고있었네

[딥부이 1(125.132)]

dropout 높다고 valid가 오락가락해?

[글쓴 딥부이(14.40)]

진짜 모르겠네... train이나 valid나 둘 다 진동폭이 좀 큰듯

[익명(vital7966)]

dropout을 0.5나 주면 당연한거아니냐 좌뇌 우뇌 번갈아서 한쪽만 쓰는거아님?ㄷㄷ

[글쓴 딥부이(14.40)]

근데 모델이 데이터에 비해 무거워서 그런가 dropout 0.5 정도는 줘야 결과가 좀 좋음 ㅅㅂ