[❓질문] 파이토치 뉴비가 조언 구해봐요

[익명(223.39)]

데이터(숫자)가 있고 분류해야 할 정답은 세가지

(예를 들어 0,1,2)

그런데 정답 비율이 하나만 압도적으로 높은 상태

(1은 998개인데 0과 2는 하나씩만)

이런 상태에서 학습하니 출력이 고정돼버림(1만 나옴)

그걸 버리고 0과 2이 나와야 할 입력만 학습하니 0과 2는 분류가 잘되는데 이러면 1을 분류 못함

어떻게 해야 하나요

- dc official App

[익명(121.160)]

Catastrophic forgetting 아님?

[익명(223.39)]

파국적 망각...해결책이 있나요 - dc App

[익명(121.160)]

제가 알기론 뉴럴넷 자체의 근본적인 한계라 .. 잘 모르겠네요

[익명(223.39)]

[Jahy(pytorch)]

cataforget은 continual learning에서의 이슈고 이건 data imbalance 문제인데 몇개 솔루젼이 있긴 있어요. 가장 naive한건 그냥 트레인 시에 데이터 샘플랭 ratio를 조절해 주는게 있겠고, 또 하나 straightforward한 방법으로는 torch.nn.Crossentropy인가 거기에 weight= 이라는 변수 넣는거 있을텐데 거기에 갯수 작은건 크게, 많은건 작게 넣어주면 로스 계산할 때 그거 감안해서 해주기도 함

[Jahy(pytorch)]

조금 더 sophisticated된 방법이라 하면 대표적으로는 focal loss가 있을거 같음. focal loss 키워드로 찾아보면 페이퍼랑 간단한 구현 나오니 ㄱㄱ

[익명(223.39)]

감사...감사합니다! - dc App

[유일한구원조선인의안락사(qwerasdf9999)]

variance랑 bias는 trade off 이기 때문에 결국 0 2 레이블 데이터를 늘려야 됨

[익명(39.112)]

augmentation ㄱㄱ 정그러면 long tail problem 검색 ㄱ