[일반] attention is all you need 읽어본 사람 있음

[manus(general2548)]

학부 전공이 it기는 한데 it 일을 해본적 없는 나에겐 무슨 외계어 써있는 기분임

k가 어쩌구 v가 어쩌구 q가 어쩌구 ㅅㅂ

그리고 수학공식 왜케 많은데

[특술람(gpt2030)]

Query key value 데이터베이스에서 쓰는 개념 아니셈??

[ㅇㅇ 1(211.189)]

벡터연산이 들어가니까

[익명(118.42)]

기존의 NLP의 주요모델은 RNN이었음. 현재 인풋값과 이전 상태의 출력값을 바탕으로 현재 상태의 출력값을 리턴했음. 이렇게 된 이유는 "A dog is black. It's cool" 이란 단어를 번역할때 It이 가리키는게 사람은 dog라는걸 알지만 컴퓨터는 모르니까 이전 상태의 정보를 바탕으로 현재 상태를 결정하는 방식이었어. 근데 이러면 필연적으로 이전 상태의 결과가 나와야 현재 상태를 결정해야만 했지. 순차적일 수 밖에 없던 구조 하지만 트랜스포머는 셀프어텐션으로 이를 극복함. 셀프어텐션은 두개로 이루어진다고 나는 이해했는데 먼저 어텐션값 계산부분과 어텐션값을 곱해주는 부분.

[익명(118.42)]

어텐션값 계산을 위의 예를 들어 설명해보면 "A dog is black. It's cool"에서 It에 대한 어텐션을 문장 전체에 대해 계산함. 각 단어는 벡터로 이루어져 있다는 관점에서 바라보면, It을 표현하는 벡터(query)와 문장의 모든 단어의 벡터(key)와 곱하는거지 다행히 이 계산은 아주 쉬운데 벡터와 행렬 사이의 내적이야. 이제 문장내 모든 단어에 대해 각 단어의 어텐션값을 계산해보자. 단어가 벡터(query)라고 했지? 근데 벡터가 모이면 행렬이 되지. 즉 문장내의 모든 단어에 대한 각 단어의 어텐션 계산은 행렬곱이면 끝나게 되는거야.

[익명(118.42)]

이렇게 얻은 어텐션값은 이제 문장내의 각 단어가 서로에 대해 얼마나 유사한지를 나타내는 가중치값이 되고 이를 value에 곱해주면 value에 가중치가 적용되서, value안의 단어에 대해 어느게 중요하고 어느게 덜 중요한지 알 수 있게 돼

[익명(118.42)]

이게 혁신적인거는, RNN처럼 순차적으로 계산하는게 아니라 병렬적으로 계산이 가능하다는거야. 모든 단어에 대한 모든 단어의 어텐션계산이 행렬곱이니까.

[초존도초(htr3c654r6ft)]

https://m.dcinside.com/board/thesingularity/567400
- 2025 AGI

[초존도초(htr3c654r6ft)]

갑자기 뜬금없이 바로 어텐션 매커니즘 수학적 원리로 들어가면 당연히 외계어임 ㅋㅋ 역전파부터 공부하고 CNN, RNN 등 다양한 매커니즘 공부하면서 자연히 행렬연산에 대한 의미를 터득하게 된 이후에야 직관적으로 qkv 이해할 수 있게 됨 - 2025 AGI