[일반] Transformer에서 Positional encoding 질문

[익명(210.113)]

https://wikidocs.net/31379

여기 보면서 트랜스포머 공부중인데요

왜 PositionalEncoding 클래스에서 생성자 argument 중 하나인 position으로 vocab_size를 넘겨주나요?

매 순간 순간 입력 문장의 크기가 넘겨져야하는게 맞지 않나요??

[Sesiwo(visiopo44)]

아니지 매순간 크기가다르면 행렬크기가 달라지는데 계산을 어케해. 패딩부분 다시봐바 - dc App

[익명(172.226)]

나 포머 모델 잘 모르는데 일단 former니까 mlp 많이 쓸텐데 mlp는 input size가 고정이라 가변적 입력을 처리 못함

[veritasium(118.45)]

트랜스포머는 Andrej karpathy zero to hero