[📪정보] (논문) 트랜스포머 모델의 일반화 한계 by 구글 딥마인드

[초존도초(htr3c654r6ft)]

https://arxiv.org/pdf/2311.00871.pdf

Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models Steve Yadlowsky, Lyric Doshi, Nilesh Tripuraneni {yadlowsky, lyric, nileshtrip}@google.com Google DeepMind November 3, 2023

일주일 전 논문

초록

트랜스포머 모델, 특히 대규모 언어 모델(LLM)은 본질적인 모델 훈련 없이도 본 적 없는 입력-출력 예시가 제시될 때 새로운 작업을 수행하는 인-컨텍스트 학습(ICL)을 수행할 수 있는 뛰어난 능력을 가지고 있습니다. 이 연구에서 우리는 트랜스포머가 다양한 고유한 작업 패밀리로 구성된 사전 훈련 데이터 혼합물 사이를 효과적으로 연결하여 사전 훈련 분포 내부와 외부에 있는 새로운 작업을 인-컨텍스트에서 식별하고 학습할 수 있는지를 연구합니다. 이전의 작업을 기반으로, 우리는 자연어가 아닌 (x, f(x)) 쌍의 순서에 대해 훈련된 트랜스포머 모델을 연구하는 제어된 환경에서 이 질문을 조사합니다. 우리의 경험적 결과는 트랜스포머가 사전 훈련 데이터에서 잘 표현된 작업 패밀리를 인-컨텍스트에서 먼저 식별하고 그 안에서 학습할 수 있는 능력에 있어서 거의 최적의 비감독 모델 선택 능력을 보여준다는 것을 보여줍니다. 그러나 사전 훈련 데이터의 도메인 외부에 있는 작업이나 함수가 제시될 때 우리는 트랜스포머의 다양한 실패 모드와 간단한 외삽 작업에 대한 일반화의 저하를 보여줍니다. 함께 우리의 결과는 높은 용량의 순서 모델의 인상적인 ICL 능력이 근본적인 일반화 능력을 창출하는 귀납적 편향보다는 그들의 사전 훈련 데이터 혼합물의 범위에 더 밀접하게 연결될 수 있음을 강조합니다.

결론

우리는 사전 훈련된 트랜스포머가 사전 훈련 데이터 분포의 지원 내부와 외부에 있는 함수 클래스를 인-컨텍스트 학습할 수 있는 능력에 사전 훈련 데이터 구성이 미치는 역할을 경험적으로 탐구했습니다. 사전 훈련 혼합물에 잘 표현된 작업 패밀리나 함수 클래스의 경우, 인-컨텍스트 학습에 사용할 적절한 함수 클래스를 선택하는 비용이 거의 제로에 가깝다는 것을 우리는 경험적으로 보여주었습니다. 다음으로 우리는 두 가지 시나리오에서의 일반화 가능성을 탐구했습니다: (1) 사전 훈련된 트랜스포머들이 사전 훈련 함수 클래스에서 가져온 함수들의 볼록 조합을 예측하는 데 어려움을 겪는다는 것을 발견했고, (2) 트랜스포머들이 함수 클래스 공간의 더 드문 부분에서 효과적으로 일반화할 수 있지만 작업이 분포에서 벗어남에 따라 붕괴되는 것을 관찰했습니다. 중요한 질문은 우리가 여기서 하는 관찰이 토큰화된 모델과 자연어로 표현된 질문에 어떻게 적용되는지 이해하는 것입니다. 우리는 섹션 4에서 제시된 일차원 예시를 훈련하기 위해 스칼라 값을 버킷으로 분류하고, 버킷 인덱스를 트랜스포머 기반 언어 모델 입력을 위한 토큰으로 취급하는 실험을 시도했습니다. 우리는 이 모델을 5M 에포크 동안 일반적으로 언어 모델에서 사용되는 크로스 엔트로피 손실로 훈련했지만 손실을 상당히 감소시키지 못했습니다. 이러한 모델을 훈련하는 데 있어 도전과제를 이해하고, 이러한 구성이 모델 선택이나 분포 외 일반화 특성이 다른지 평가하는 것은 중요한 미래의 작업입니다. 자연어 설정에서 우리의 경우처럼 적절하게 작업 패밀리(함수 클래스)를 정의하는 방법, 정확한 사전 훈련 혼합물, 그리고 볼록 조합의 직관적인 개념은 모두 덜 명확합니다. 여기서 제시된 개념과 언어 모델링 사이의 간극을 메우는 것이 ICL의 힘을 이해하고 효과적으로 가능하게 하는 방법을 개선하는 데 도움이 될 것이라고 믿습니다.

[ㅇㅋ(ijh2005)]

에휴... 올해안에 gpt4터보도 못넘기면 니넨 그냥 믿거다 이새끼들아 1년내내 gpt4 못넘으면서 얀르쿤짓거리나 하고있냐

[GEMINI(jslb1222)]

어허.. 바드는 딥마인드 소속이 아니다 - dc App

[GEMINI(jslb1222)]

말실수하지 말거라 - dc App

[ㅇㅋ(ijh2005)]

그래 제발 입증해줘봐라 뭐가됬든 gpt4터보보다 성능 뒤쳐지면서 저따구로 입만털었으면 하사비스도 심층강화로 잡다한 태스크나 만질줄알지 llm이해도 ㅈ도없는거밖에 안되는거임

[디시콘발사대(fcbjsjmu1t9f)]