[일반] 트랜스포머가 디퓨전보다 더 어렵게 느껴짐

[익명(121.172)]

석사1차라 아직 공부하는단계인데

디퓨전은 수식이 복잡하긴한데 흐름을 따라가려면 따라가겠는데

트랜스포머는 갑자기 뭔가 툭툭 튀어나와서 짜잔~ 하는 느낌임

걍 ???? 되버림

미팅할때마다 걍 공부중입니다... 할수도없고 걍 존나 막막하네

[익명(211.234)]

트랜스포머는 생각하고 만든게 아니라 만들고 생각한거니까... 디퓨전처럼 고민하면 안됨

[익명(121.172)]

걍 코런갑다하고 넘어가야되는거임?

[익명(211.234)]

실험적으로 얻어진 결과물들이라고 생각하고 읽으면서, 그런데 이런 실험들은 연구 단계에서 어떤 아이디어를 가지고 기획했을까? 를 염두에 두면 좋음. 실제로 성능은 나오기 때문에

[focalors(pytorch)]

[익명(174.239)]

Temperature는 또 뭐고 왜 이게 key value인데 ㅇㅈㄹ 하기 시작하면 끝도 없음 내가 그랬거든

[익명(39.125)]

근데 디퓨전도 unet에 attention 연산 들어가있는거보면 걔도 transformer 기반 아님?