[일반] lstm 멀티 아웃풋 질문

[익명(175.115)]

input은 5개이고 sequence는 10일때, torch.stack, dim = 0으로 [5, 10]짜리 텐서를 input으로 사용해
그후<

LSTM -> Fully Connected Layer -> Fully Connected Layer x -> Fully Connected Layer x -> output_x

                                          -> Fully Connected Layer y -> Fully Connected Layer y -> output_y

                                          -> Fully Connected Layer z -> Fully Connected Layer z -> output_z

이렇게 Fully Connected Layer 까진 공유하고, 나머지는 위처럼 작동해.
이떄, 나온 3개의 output인 output_x, output_y, output_z에 대하여

torch.stack, dim =0으로 [3, 40]짜리 output을 만들었어.
이때, output과 비교할 정답지도 똑같이 [3, 40]으로 만들어줬어.

이때 loss = 휴버로스이고, 옵티마이저는 Adam일 때,
loss = (output, 정답지)
이렇게 하면 
Fully Connected Layer x, Fully Connected Layer y, Fully Connected Layer z
이 셋이 똑같은 가중치로 업데이트 되어서 loss가 떨어지지 않는 학습 불능이 되겠지?
내가 생각하는게 맞아???

[익명(106.102)]

솔직히 무슨 말인지 모르겠고 학습 불능은 또 뭔 소리냐 미분만 가능하면 학습은 무조건 되지 그러라고 손실함수로 문제를 컨벡스 형태로 강제한 다음에 그래디언트 알고리즘 사용하는거잖아 애초에 무슨 문제인지도 모르겠고 후버를 쓴 이유도 어떻게 임계값 설정했는지도 모르는데 무슨 상황인지 어찌 아냐?