[📰논문] 정말 트랜스포머만 모델 성능에 기여할까?

[지잡컴공(wlwkqzjarhd)]

ㄴ 요즘은 제목으로도 어그로 끄네 ㅋㅋ

재미있는 논문이 올해 초에 나와서 소개를 해볼까 해

최근 vision쪽 모델 랭킹을 보면 ViT가 랭킹을 다 씹어먹고 계시지. 근데 정말 트랜스포머 덕분에 결과가 잘 나오는 걸까? 지금 소개할 논문의 저자들은 ViT에서 사용되는 patch embedding에 주목을 했어. 트랜스포머가 아주 타고나기를 뛰어난 것인지 아니면 patch embedding이 조금이라도 기여를 한건지 알아보기로 했지.

그리고 논문의 저자는 patch embedding을 적용한 ConvMixer라는 간단한 모델을 제안해서 실험을 해 봤더니 SOTA는 아니지만 ViT나 MLP-Mixer보다 더 성능이 잘 나왔다고 해~ 그래서 트랜스포머도 물론 뛰어난 기법이지만, patch embedding과 같은 input을 tokenizing하는 기법도 vision영역에서는 좋은 방법이라는 사실이라고 제안했어.

그리고 논문 안에 제안하는 ConvMixer모델의 280자 숏코딩 구현도 있으니 꼭 한 번 읽어봐봐 ㅋㅋ

논문 링크: https://arxiv.org/abs/2201.09792

[익명(121.191)]

논문은 개추야!

[지잡컴공(wlwkqzjarhd)]

[익명(121.191)]

태그 새로 판거임?

[지잡컴공(wlwkqzjarhd)]

뉴스가 애매해서.. 논문으로 바꾸고 소식 태그 새로 만들었어

[익명(121.191)]

ㅇㅎ 열일하네

[지잡컴공(wlwkqzjarhd)]

사실 나도 아직 논문 abstract랑 result밖에 안읽어서 나중에 읽으려고 정리....

[익명(210.123)]

patch embedding이 뭐하는거임?

[지잡컴공(wlwkqzjarhd)]

대충 이미지를 쪼갠다고 보면 됨

[익명(210.123)]

아하 어텐션 알고리즘 넣기전에 하는 그거구나