인코더 셀프어텐션보면 key가 pad인경우만 마스크해주던데 그럼 query가 pad이고 key가 단어인경우는 왜 mask안해주고 어텐션값을 그대로 남겨두는건가요?? 똑같이 mask해야되는게 아닌가하는 생각이 드는데.. 찾아봐도 이해가 잘안돼서 질문합니다.
[❓질문] 트랜스포머 셀프어텐션 질문
익명(118.235)
2022-10-18 19:54
추천 0
다른 게시글
-
머신러닝 알고리즘을 처음부터 구현해보고싶은데 [19][일반] 익명(175.223) | 22.10.18추천 0
-
딥러닝 질문은 아닌데 파이썬 관련 질문좀 [5][❓질문] 익명(182.226) | 22.10.18추천 0
-
제가 이진 분류 모델 쓸려고 하는데 [1][❓질문] 천상여신유..(ccg700) | 22.10.16추천 0
-
오프라인 강화학습에 대하여. [1][일반] a(220.77) | 22.10.16추천 1
-
책 보고 난 다음 실습관련 질문해도 될까 [3][일반] th09(hbp7qm7wjggc) | 22.10.15추천 0
-
혹시 콜링 학회 온 게이있노?[일반] 익명(180.134) | 22.10.15추천 0
-
Differentiable convex optimization [2][일반] +(foobarbaz) | 22.10.14추천 0
-
혹시 책 보기 좋은 순서 있음? [4][일반] th09(hbp7qm7wjggc) | 22.10.13추천 0
-
님들 이런경우 코랩 프로쓰는게 낫겠죠? [2][일반] 라면(iloveblackpink) | 22.10.13추천 0
-
머신러닝 한번돌리고 나서 딥러닝 더 깊게 공부해보고싶은데 [2][일반] 익명(211.218) | 22.10.12추천 0
댓글 0