트랜스포머마냥 k, q 간의 내적+어떤 비선형 연산으로 v에 가중치를 주는 걸 말할 때도 있고
CBAM 같이 이미징 테스트에서 따로 분기를 뽑아서 일정 연산을 한 후 원래 이미지에 곱해주는 걸 말할 때도 있고
Non local neural network나 ViT 같이 패치들 따서 걔들간의 계산을 하는 것도 있던데
헷갈리네요
CBAM 같이 이미징 테스트에서 따로 분기를 뽑아서 일정 연산을 한 후 원래 이미지에 곱해주는 걸 말할 때도 있고
Non local neural network나 ViT 같이 패치들 따서 걔들간의 계산을 하는 것도 있던데
헷갈리네요
어느부분에 더 주목해야하는지 학습하는? 그런 방법? 기술? 같은 느낌인듯. transformer가 원조
function of (query, key, value) such that scaling each component of the given value by the distribution that represents similarities between components of query and key. 라고 할 수 있지 아늘까요. 이상 잘 모르는 멍충이 1