[❓질문] 모델 성능을 올리고 싶은데

[빈즈게임(high7593)]

왠만한거 다해봐서 더 이상 성능을 못올리겠습니다.. 혹시 더 생각나시는 분 있으신가요?

Task; binary classification(인풋 채널은 12채널이지만 가지고 있는 데이터가 4채널이라 4in12out conv1d 입력레이어에 추가했습니다)

pretrained model의 구조는 다음과 같구요.

해본 방법:

과적합을 줄이기 위한 batch_normalization & dropout layer classification head에 추가.

4in 12out 뒤에 12in12out(12, 12, kernel_size=1) 추가도 해봤고

마지막 fc layer를 여러 층으로도 해봤습니다만 돌고돌아 첫번째 사진의 모델구조가 가장 성능이 높았습니다.

혹시 생각나시는 기법 있으신 분 있으신가요?? 의견 감사합니다

[익명(211.246)]

다 해봤는데 안되는거면 데이터 더 먹여야지 뭐

[빈즈게임(high7593)]

혹시나 제가 생각 못한게 있을까봐요. 언급된거 외에 떠오르는거 있으시면 제발 ㅠㅠ

[익명(211.246)]

지금보니 pretrained 앞에 무지성으로 새 레이어를 붙인거같은데 그러면 당연히 성능이 안나오지… 다른거 집어치우고 저거만 태클해도 될거같은데

[익명(39.7)]

나라면 원래 pretrained model이 봤던 데이터 조금이라도 들고와서 shallow하게 domain adaptation 따로 학습시키고 그거 freeze해서 앞쪽에 붙일듯

[익명(39.7)]

앞쪽에 저렇게 레이어 붙일거면 pretrained 모델은 freeze 시키지말고 풀되 lr 줄여서 학습시키는게 나을거같고

[빈즈게임(high7593)]

감사합니다 ㅠㅠ!

[딥부이 1(218.155)]

input에 learnable prompt붙이기

[빈즈게임(high7593)]

감사합니다

[익명(58.127)]

kd,sweep

[딥부이 2(180.224)]

감삼다