[📪정보] 구글, 트랜스포머 계산부담없이 스케일 높이는 AltUp 공개

[익명(222.108)]

https://blog.research.google/2023/11/alternating-updates-for-efficient.html

현대의 딥러닝 모델은 자연어부터 컴퓨터 비전까지 다양한 영역에서 눈에 띄게 성공했습니다. 트랜스포머 신경망 (변환기)은 오늘날 자연어 처리 분야 대부분의 작업에 대한 기반을 구성하고 컴퓨터 비전 , 로봇 공학 , 자율 주행 과 같은 다른 영역의 애플리케이션으로 확장되기 시작하는 인기 있는 딥 러닝 아키텍처입니다 . 게다가, 그들은 현재의 모든 최첨단 언어 모델 의 중추를 형성합니다 .

Transformer 네트워크의 규모가 증가하면 성능이 향상되고 소규모 네트워크에는 없는 동작이 출현하게 됩니다 . 그러나 이러한 규모의 증가는 컴퓨팅 비용과 추론 대기 시간이 엄청나게 증가하는 경우가 많습니다. 자연스러운 질문은 계산 부담을 들이지 않고 더 큰 모델의 이점을 얻을 수 있는지 여부입니다.

NeurIPS 2023 에서 주목을 받은 " 효율적인 변환기를 위한 대체 업데이트 "에서는 계산 비용을 늘리지 않고 증가된 토큰 표현을 활용할 수 있는 방법인 AltUp을 소개합니다. AltUp은 구현하기 쉽고 모든 변환기 아키텍처에 널리 적용 가능하며 최소한의 하이퍼파라미터 조정이 필요합니다 . 예를 들어, 770M 매개변수 T5-Large 모델에서 AltUp 변형을 사용하면 ~100개의 매개변수를 추가하면 훨씬 더 나은 품질의 모델이 생성됩니다.

컴퓨팅 부담을 초래하지 않고 규모의 이점을 달성하기 위해 희소 MoE(Sparse MoE) 모델(예: Switch Transformer , Expert Choice , V-MoE )과 같은 이전 작업은 주로 네트워크 매개변수를 효율적으로 확장하는 데 중점을 두었습니다( self-attention 및 Feedforward 레이어 에서 ) 입력을 기반으로 하위 집합을 조건부로 활성화합니다. 이를 통해 입력당 컴퓨팅을 크게 늘리지 않고도 네트워크 크기를 확장할 수 있습니다. 그러나 토큰 표현 벡터의 일부를 조건부로 활성화하여 토큰 표현 차원 자체를 확장하는 데는 연구 공백이 있습니다.

AltUp의 상대적 성능은 더 큰 모델에 적용할수록 향상됩니다. T5 Base + AltUp의 상대적 속도 향상과 T5 Large + AltUp의 상대적 속도 향상을 비교해 보세요. 이는 AltUp의 확장성과 더 큰 모델에서의 향상된 성능을 보여줍니다. 전반적으로 AltUp은 평가된 모든 모델 크기 및 벤치마크에서 동일한 속도로 해당 기본 모델보다 예측 성능이 더 나은 모델을 지속적으로 이끌어냅니다.

[익명(rechido)]

[익명(hangulnick0)]

[익명(114.201)]

구글은 ㄹㅇ 연구소네