[일반] ViT에 컨볼루션 섞은 모델도 있냐?

[익명(118.44)]

어텐션에 V로 컨볼루션

딥갤에 물어봐야하나

[익명(123.215)]

있겠지. ViT에 이미지를 집어 넣는 방법이 정사각형 타일로 이미지를 자른다음에 정사각형을 다시 한줄로 만들어서 쭉 붙여서 타일단위로 ViT로 집어 넣는건데 CNN으로 타일을 어느정도 처리해서 넣어줄수 있을거 같음. 타일을 많이 넣을수록 연산량도 지수적으로 증가하고 메모리도 많이 필요해지는데 CNN으로 압축해서 넣어줄수 있을거 같음. - dc App

[익명(123.215)]

나정도 되는 허접이 이정도 발상이 가능한데 그런경우에는 무조건 있더라. - dc App

[익명(118.44)]

ㅇㅇ 내가 그 생각이였음