[일반] 트랜스포머로 동영상을 학습하는건 낭비다

[익명(222.238)]

이전 프레임이랑 다음 프레임이랑 거의 똑같은 토큰 일텐데 트랜스포모가 학습 못하라는 법은 없지만 연산량은 엄청 늘어나고 낭비다

[oo(venchoi)]

근거는?

[oo(venchoi)]

트랜스포머가 동영상을 학습한다는 말은 밑도 끝도 없는 소리고 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[궁금(39.117)]

동영상 압축 기술이 괜히 있는게 아님

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

우리가 사용하는 기본적인 동영상 포맷 압축 방식만 알아도 이런 걱정은 안 할 텐데

[익명(222.238)]

동영상 압축기술을 알고는 있었지만 현재까지 동영상 압축기술 트랜스포모에 적용하고 있는 연구는 없는것으로 알고 있다. 넌 네게 중요한 힌트를 줬다

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

모르면 배우면 되지...

[익명(59.16)]

https://co-tracker.github.io/
이런 연구는 있음

[익명(222.238)]

오~ 나왔네

[익명(222.238)]

언어모델에서는 이전 단어와 다음 단어의 토큰백터가 상당히 다른 경우가 많고 그걸 해석하는 성능이 좋은게 트랜스포머자나. 그런데 동영상에서는 거의 똑같은 토큰 백터들의 나열은 트랜스포머가 많은 연산을 잡아 먹어가면서 해석한다는게 뭔가 비경제적으로 보인다. 동영상 압축에서 쓰이는 델타프레임들은 토큰 백터들의 차이가 크기 때문에 트랜스포머에 더 적합할수도 있다는 생각이 드네

[oo(venchoi)]

동영상이 이미지인데 VIT는 뭐 사기임?