왜 collapse 하는지 수식적으로 설명을 하고싶은데
이때까진 모델입장에서 '두 output간의 mse를 최소화시켜라'라고 명령을 받으니까
이미지 하나 하나의 representation을 잘 학습해서 결과를 좋게 만드는 쪽보다
input이 뭐가 들어오던 간에 무관하게 항상 같은 값만 내뱉게끔 하는게 더 효율적이라 collapse가 일어난다~ 라고만 설명했는데
collapse가 일어낫을때의 모델 파라미터(가중치)는 어떻게 변하고
왜 수식적으로 collapse가 일어날 수 있는지를 어케 설명해야 할지 잘 모르겠네
잘 아는친구 있으면 도움주고 가줘
댓글 0