[일반] 트렌스포머 원리 이해했다는 사람은

[딥삣삐(210.216)]

어떻게 이해 중인거임?

트렌스포머 저자인 Noam Shazeer도 인터뷰에서 설명안된다고 했는데

[익명(124.197)]

구조와 휴리스틱한 아이디어를 이해했다는 거지 찐으로 원리는 이해 못함

[익명(rechido)]

수식이나 그걸 도입한 동기 정도를 이해하지 그래서 이게 왜 잘됨? 하는건 연구중일걸 - dc App

[딥삣삐 1(61.98)]

그냥 positional encoding 도입을 통해 기존의 시계열성 특징은 RNN에서는 시간 순서대로 인풋 넣으면서 학습할수밖에없었지만 트랜스포머에서는 이게 동시에 한꺼번에 된다는거에 의의가있는거아님? - dc App

[딥삣삐 2(58.29)]

이게 논문 안읽고 교과서적으로 배웠을때 가장 단순히 나오는 답변이고, positional encoding만으로 지금의 llm 성능이 나왔다면 self-attention조차 필요없지

[딥삣삐 4(106.102)]

ㄴ 그럼 그거말고 뭐 다른 이해하는 방법이있냐? 단순 히든레이어도 계산못하는데 뭘 얼마나 해체하고 분석하려고

[딥삣삐 5(115.145)]

팩트는 pe가 그렇게 영향이 크지는 않다는거임

[딥삣삐 6(222.235)]

근데 그러면 트랜스포머가 pe없이도 성능이 나옴?? 아닐거같은데.. pe 자체로만이야 당연히 안되겠지만 pe + self attention이랑 만나서 생기는 시너지를 밝힌 게 트랜스포머의 의의라고 볼수있지않음?

[딥삣삐 6(222.235)]

pe가 영향이 크지 않다는 것에 대한 논문 좀 가져와줄수있음? 나도 좀 공부좀하고싶어서

[딥삣삐 2(58.29)]

나도 nlp전공이 아니라 막 빠삭히 아는건 아니지만, 내가 공부했던 한에서는 핵심은 self-attention이지 pe라고 하면 안됨. 이건 마치 VAE에서 핵심이 variational inference인데 그거 말고 reparametrization trick이 핵심 기여라고 말하는 거랑 같음

[딥삣삐 2(58.29)]

@딥삣삐4(106.102) 그러니까 왜 self-attention을 쓰면 성능포화가 안일어나고 scalable해지냐에 대한 대답은 아직 연구 주제라 내가 대답할 수 없는 영역이고 천재들이 열심히 논문쓰는중이고... self-attention layer가 왜 scaled dot product attention을 쓰는건지 그걸 도입한 배경 같은걸 이해하면 트랜스포머에 대한 조금더 직관적인 관점은 얻을 수 있겠지.

[딥삣삐 2(58.29)]

@딥삣삐4(106.102) 원래 retrival system에서 hard attention과 soft attention이 어떤 차이를 갖고 soft attention이 어떤 경우에 쓰였는지 라든가, 기존 seq2seq 등에서 이 soft attention의 query key value를 각각 무슨 의미로 쓰고 있는지라든가 이런걸 좀 공부해봐야 트랜스포머의 동작원리를 이해해보려고 노력했다라는 말이라도 해볼 수 있지.

[딥삣삐 2(58.29)]

@딥삣삐4(106.102) 여기까지가 핵심원리였다면 트랜스포머 제대로 공부했다면 당연히 multi-head attention이 들어간 이유나 그 효과나 이거에 따라 데이터가 어떻게 쪼개지고 합쳐지는지 파악해야하고 cross-attention이 self-attention과 뭐가 다른지, Encoder-only(Bert)나 Decoder-only(GPT), Encoder-Decoer(T5) 중에 왜 Decoder-only가 살아남았나 이런 지엽적인 부분도 알아야 하고

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[딥삣삐 6(222.235)]

ㅇㅇ 이게 정확한듯 - dc App