[❓질문] RNN LSTM 에서 timesteps

[익명(175.126)]

batch size와 time steps의 차이는 무엇인가요

그냥 훈련과정에서의 명시적인 구분인건가요? 아니면 실제로 time steps가 모델에 끼치는 영향이 있는건가요?

[지잡컴공(wlwkqzjarhd)]

일반적으로 RNN은 가변 길이의 데이터를 처리하기 위해서 사용되지요. 그래서 그 가변 길이를 처리하기 위해서 RNN은 loop를 돌면서 일정 크기의 데이터를 받아들이거나 내뱉게 되죠. 이 하나의 loop를 time step이라고 부릅니다. batch size의 경우는 RNN 모델을 학습 시킬시, 몇 개의 training example을 한 번에 학습시키는지를(학습 데이터를 받아서 loss와 gradient를 구하고 parameter를 업데이트까지 하는 과정을 한 번이라고 함) 나타내는 hyperparameter입니다.

[익명(175.126)]

그럼 그 time step이 1이 되버리면 RNN의 의미가 퇴색되버리는건가요?

[지잡컴공(wlwkqzjarhd)]

https://cs231n.github.io/rnn/
여기를 보시면 되는데, one-to-one이나 one-to-many 구조도 있습니다. RNN은 internal state를 가진다는 것이 중요한 점이 아닐까 싶습니다.