[📪정보] [중복] Block-Recurrent Transformers

[익명(1.239)]

https://syncedreview.com/2022/03/18/google-idsias-block-recurrent-transformer-dramatically-outperforms-transformers-over-very-long-sequences/

Google 및 IDSIA의 블록 순환 변압기는 매우 긴 시퀀스에 걸쳐 변압기보다 극적으로 성능이 뛰어납니다.

Google Research와 Swiss AI Lab IDSIA의 팀은 기존의 변환기 레이어와 계산 시간과 매개변수 수 비용이 동일하지만 언어 모델링 작업의 복잡성 개선을 달성하는 새로운 긴 시퀀스 처리 접근 방식인 Block-Recurrent Transformer를 제안합니다. 매우 긴 시퀀스.

자연어 처리(NLP) 및 기타 AI 연구 분야에서 트랜스포머 아키텍처의 인기가 높아지는 것은 긴 입력 시퀀스를 처리할 때 뛰어난 표현 능력에 크게 기인합니다. 변환기 배치를 제한하는 주요 단점은 self-attention 메커니즘의 계산 복잡성이 시퀀스의 크기에 대해 2차적이라는 것입니다. 변환기의 주의 창 크기는 쉽게 확장할 수 없기 때문에 책이나 소스 코드 저장소와 같이 매우 긴 문서를 처리할 때 컴퓨팅 비용이 엄청나게 비쌉니다.

새로운 논문 Block-Recurrent Transformers 에서 Google Research와 Swiss AI Lab IDSIA 팀은 기존 변압기 레이어와 계산 시간과 매개변수 수 비용이 동일하지만 상당한 복잡성 개선. 연구원들은 이 방법을 "긴 시퀀스에서 언어 모델링 복잡성을 개선하는 저렴하고 유쾌한 방법"으로 설명합니다.

제안하는 Block-Recurrent Transformer는 시퀀스를 따라 순환 방식으로 변압기 레이어를 적용합니다. 이전의 모든 토큰에 직접 참여하는 기존의 변환기 모델과 달리 Block-Recurrent Transformer는 모델이 지금까지 본 시퀀스를 요약하기 위해 고정 크기 상태를 구성 및 유지하므로 순환 셀이 다음을 수행할 수 있는 토큰 블록에서 작동할 수 있습니다. 큰 크기로 확장됩니다.

효율성을 향상시키기 위해 이 메서드는 블록 내에서 모든 토큰을 병렬로 처리합니다. 블록의 시퀀스를 처리하는 것은 네트워크에서 치명적인 망각 문제를 일으키지 않고 정보와 기울기를 더 먼 거리로 전파하는 데에도 유용할 수 있습니다.

특히, 순환 셀은 단일 벡터가 아닌 상태 벡터 블록에서도 작동하기 때문에 순환 상태의 크기는 LSTM(장기 기억 장치) 순환 신경망의 크기보다 수십 배 더 큽니다. 긴 시퀀스 처리 — 과거 캡처를 위한 모델 기능이 크게 향상되었습니다.

연구원들은 Block-Recurrent Transformer의 "놀라울 정도로 단순한" 순환 셀이 시퀀스 길이를 따라 순환 방식으로 적용된 일반 변압기 레이어의 대부분으로 구성되어 있으며 교차 주의를 사용하여 순환 상태와 입력 토큰 모두에 주의를 기울인다고 설명합니다. 따라서 이 방법은 계산 시간 및 매개변수 수 면에서 낮은 비용 부담을 유지합니다. 또한 리커런트 셀은 기존의 트랜스포머 코드를 사용하기 때문에 구현이 용이합니다.

팀은 PG19, arXiv 및 GitHub의 세 가지 긴 문서에서 Block-Recurrent Transformer를 평가했습니다. 그들은 목표가 시퀀스의 다음 토큰을 예측하는 자동 회귀 언어 모델링 작업을 사용했습니다.

실험에서 Block-Recurrent Transformer는 창 크기가 2048인 Transformer XL 모델보다 2배 이상의 런타임 속도 향상을 달성하면서 덜 복잡함(낮을수록 좋음)을 보여주었습니다.

연구자들은 그들의 방법이 인간이 긴 텍스트 시퀀스를 처리하는 방식에서 영감을 받았고 모방했다고 말합니다. 예를 들어, 소설을 그대로 암기하려고 시도하기보다 독자는 등장인물, 관계, 줄거리 등과 관련하여 지금까지 이야기를 요약하는 정신적 모델을 구성합니다. 인간은 또한 블록(문장 또는 단락)으로 정보를 처리하는 경향이 있습니다. 그들의 멘탈 모델의 배경 지식을 사용하여 정보를 구문 분석하고 처리하고 해석하고 마지막으로 새로운 정보로 멘탈 모델을 업데이트합니다. Block-Recurrent Transformer는 유사하게 텍스트 블록을 변환기 스택을 통해 실행하여 구문 분석하고 교차 주의를 사용하여 텍스트의 토큰이 반복 상태(즉, 멘탈 모델)에 주의할 수 있도록 합니다. 그런 다음 반복 상태는 텍스트에 교차 참여하여 업데이트됩니다.

팀은 향후 연구 및 개선이 제안된 순환 아키텍처의 잠재력을 최대한 실현할 수 있기를 바랍니다.

[Jahy(pytorch)]

https://gall.dcinside.com/mgallery/board/view/?id=deeplearning&no=290&page=1
여기에
대략적인 리뷰 달아놓음

[익명(1.239)]

[익명(49.166)]

설명 '줘'

[익명(116.33)]

오늘 첫 정보글이노

[ㅇㅇㅇ(14.38)]

[익명(118.44)]

'독자는 등장인물, 관계, 줄거리 등과 관련하여 지금까지 이야기를 요약하는 정신적 모델을 구성' 그렇지 이거지

[익명(thor2018)]

온다! 이제 오는거야 형? agi형 이제 오는거지ㅠ