[📪정보] KV선형 덧셈연산 인피니 어텐션에 대한 정보

[익명(125.134)]

Google 연구원들은 제한된 메모리와 계산으로 무한히 긴 입력을 처리하기 위해 Transformer 기반 LLM(대형 언어 모델)을 확장하는 방법을 도입했습니다.

Leave No Context Behind 라는 제목의 논문에서는 압축 메모리를 바닐라 어텐션 메커니즘에 통합하고 마스크된 로컬 어텐션과 장기 선형 어텐션 메커니즘을 단일 Transformer 블록에 결합하는 Infini-attention이라는 접근 방식을 고안했습니다.

Transformer 어텐션 레이어에 대한 이러한 수정은 지속적인 사전 훈련 및 미세 조정을 지원하여 무한히 긴 컨텍스트를 처리하기 위해 기존 LLM의 자연스러운 확장을 촉진합니다.

Infini-attention은 장기 메모리 통합 및 검색을 위해 표준 Attention 계산의 키, 값 및 쿼리 상태를 재사용합니다. 이전 키-값(KV) 상태를 삭제하는 대신 이 접근 방식은 해당 상태를 압축 메모리에 저장하고 후속 시퀀스 처리를 위해 주의 쿼리 상태를 사용하여 값을 검색합니다. 최종 상황별 출력은 장기 기억에서 검색된 값과 국소 주의 상황을 결합하여 계산됩니다.

실험 결과는 이 접근 방식이 긴 컨텍스트 언어 모델링 벤치마크에서 기본 모델을 능가하여 메모리 크기 측면에서 114배의 이해율을 달성한다는 것을 보여줍니다. ★

이 모델은 100K 시퀀스 길이로 학습할 때 복잡성을 개선합니다. 1B LLM은 자연스럽게 1M 시퀀스 길이로 확장되어 Infini-attention이 장착된 경우 암호 키 검색 작업을 성공적으로 완료합니다.

연구원들은 1M 시퀀스 길이의 패스키 컨텍스트 블록 검색과 1B 및 8B LLM을 사용한 500K 길이의 책 요약 작업을 포함한 긴 컨텍스트 언어 모델링 벤치마크를 사용하여 접근 방식의 효율성을 입증했습니다. 이 방법은 제한된 메모리 매개변수를 최소화하고 LLM에 대한 빠른 스트리밍 추론을 허용합니다.

이 작업의 기여는 다음과 같습니다.

• Infini-attention은 장기 압축 메모리와 로컬 인과 주의를 결합하여 장거리 및 단거리 상황별 종속성을 효율적으로 모델링합니다.
• 표준 확장 내적 어텐션에 대한 최소한의 변경으로 플러그 앤 플레이 방식의 지속적인 사전 학습 및 장기 컨텍스트 적응이 가능합니다.
• 제한된 메모리와 컴퓨팅 리소스를 사용하여 스트리밍 방식으로 매우 긴 입력을 처리할 수 있도록 Transformer LLM을 활성화합니다.

Infini-Transformer는 Transformer-XL과 비교되어 Infini-Transformer가 세그먼트 시퀀스에서 작동하여 각 세그먼트 내의 표준 인과 내적 주의 컨텍스트를 계산한다는 것을 보여줍니다.

Transformer-XL과 달리 Infini-Transformers는 이전 세그먼트의 KV 주의 상태를 재사용하여 압축 메모리로 전체 컨텍스트 기록을 유지함으로써 효율적인 메모리 및 계산 사용을 달성합니다.

연구의 결론은 LLM, 추론, 계획, 지속적인 적응 및 학습을 통해 긴 맥락을 이해하기 위한 효과적인 기억 시스템의 중요성을 강조합니다. 이 작업은 압축 메모리 모듈을 바닐라 내적 주의 계층에 통합하여 LLM이 제한된 메모리 및 계산 리소스를 사용하여 무한히 긴 컨텍스트를 처리할 수 있도록 합니다.

이 접근 방식은 백만 길이의 입력 시퀀스를 처리하도록 자연스럽게 확장되며 긴 컨텍스트 언어 모델링 벤치마크 및 도서 요약 작업에 대한 기준보다 성능이 뛰어납니다. 

최대 5K 시퀀스 길이의 암호 키 인스턴스에 대해 미세 조정된 1B 모델은 1M 길이 문제를 성공적으로 해결했습니다. ★

[익명(218.147)]

너무 어려워 무슨 말인지 하나도 모르겠다 ㅠㅠ

[익명(125.134)]

그닥 어려운 내용은 아니니 한문장씩 천천히 읽다보면 이해될거임

[뎀냐(demna)]

뭐여 새로고침하니까 글이 바뀌었노..

[익명(125.134)]

더 정갈하게 정리해둔걸로 교체함

[부패하는유전자!!!(sansss2015)]

그래서 손실 있음??

[익명(125.134)]

손실은 없는데 정보가 흐릿해짐

[익명(125.134)]

정보의 해상도가 떨어진다고 생각하면될듯 전체적인 내용은 전반적으로 문제없이 유지하는듯함

[부패하는유전자!!!(sansss2015)]

호옹이

[한가운데(centerofworld)]

신기하네