두번째 짤의
"그녀는 주전자의 물을 컵에 따랐다. 그것이 가득 찰 때까지."
에서 "그것"이 컵이라는걸 알기위해선
"주전자의 물을 컵에 따르면 컵이 가득찬다" 라는 사실을 알고있어야함
세번째 짤의
'그 동물은 길을 건너지 않았다. 왜냐하면 그것은 너무 피곤하였기 때문이다.'
에서 "그것"이 동물 이러는걸 알기위해선
"너무 피곤하면 길을 건너지 않는다" 라는 사실을 알고있어야함
둘다 문제로 주어진 문장과 상식적으로 알고있는 정보(문장)
을 연결해서 "그것"이 뭔지 알아내고 있음
이런게 셀프어텐션 맞음?
- dc official App
아주 쉽게 말해서 과거의 기억 및 이전의 문장들을 참고하는 방법이 어텐션임. 다시말해 단기 기억.
문장이 어떻고저떻고하는건 실질적으로 제대로된 설명이 아님. 그냥 단기 기억을 효율적으로 하는 방법, 그 자체임.
어텐션이 단기기억을 효율적으로 하는 방법 그자체라고?? 어텐션은 단기기억을 할려는 방법이 아니라 단어 예측에 쓰이는거 아님? - dc App
단기기억을 통해 다음 단어를 예측하든 다른걸 하든 하는거임
단기기억이 있고 그 다음에 그 단기기억한 과거의 기억이나 이전의 문장들을 참고하는게 어텐션아님? 님이 과거의 기억을 참고하는게 어텐션이라며. 과거의 기억을 참고하는게 어떻게 단기기억을 효율적으로 하는 방법이 될수있음? - dc App
단기기억 능력을 구현하는 방법이 어텐션이고 수식이라던가 구체적인건 논문을 보면 됨.
님이 과거기억 참고하는게 어텐션이라고 했으면서 그게 왜 단기기억하는 방법이 됨? - dc App
과거기억을 참고하는 능력을 단기기억이라고 표현한거임. 기본적으로 참고를 어떻게 하는지가 어려운거지 정보 저장은 쉬움.
참고는 어떤식으로 함? - dc App
그건 수식적으로 이해해야 함. 여기서 설명불가.