[📪정보] SOFT: 선형 복잡성이 있는 Softmax-free 변압기

[익명(125.191)]

https://syncedreview.com/2021/10/28/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-133/

비전 트랜스포머 기존 방식에 비해 계산 효율성 향상, 성능개선
Neurips2021 스포트라이트 페이퍼

팀은 연구의 주요 기여를 다음과 같이 요약합니다.1. 선형 공간 및 시간 복잡도를 가진 새로운 softmax-free 변환기를 소개합니다.2. 우리의 주의 행렬 근사는 이론적인 보장이 있는 새로운 행렬 분해 알고리즘을 통해 달성됩니다.3. 시각적 인식 작업에 대한 방법을 평가하기 위해 SOFT를 핵심 self-attention 구성 요소로 사용하여 다양한 용량의 일반 백본 아키텍처 제품군을 설계합니다. 광범위한 실험에 따르면 선형 복잡성으로 SOFT 모델은 훨씬 더 긴 이미지 토큰 시퀀스를 입력으로 사용할 수 있습니다. 결과적으로 동일한 모델 크기에서 당사의 SOFT는 정확도/복잡성 트레이드오프에서 ImageNet 분류에서 최첨단 CNN 및 ViT 변형보다 성능이 뛰어납니다.

[익명(125.191)]

https://syncedreview.com/2021/10/28/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-133/

[익명(211.47)]

- 선 -

[익명(110.70)]

[익명(1.239)]

뭐? 선형?

[익명(210.123)]

선형복잡도=O(n)

[익명(117.111)]

착한 선형은 O(n) 뿐

[익명(125.137)]

선형?

[익명(rechido)]

[익명(rechido)]

그러니까 선형충ai를 만들었다? - dc App

[Navy(211.195)]

내가 제대로 이해한 게 맞다면 시간/공간복잡도는 낮을수록 좋아서 선형적인 게 지수적인 것보다 좋은 거임

[Navy(211.195)]

그리고 번역기 돌려서 변압기라고 나온건지는 모르겠는데 transformer는 딥러닝의 일종임. SOftmax-Free Transformer

[익명(49.164)]

변압기가 transformer였구나 ㅋㅋㅋㅋㅋㅋㅋㅋ