[📪정보] 규모가 필요한 전부다(Scale is all you need)의 배경

[Informa..(49.171)]

출처 : https://threadreaderapp.com/thread/1564746583568068608.html

번역출처 : https://cafe.naver.com/futuresci

"규모가 필요한 전부다(Scale is All You Need)"라는 말을 들어보셨을 것입니다. 직선이 아래로 내려가는 그래프와, "AGI가 오고 있다"고 중얼거리는 걸 본 적이 있을 것입니다.

확장 법칙(Scaling Laws)이란 정확히 무엇입니까? 무엇을 확장하고 있습니까? 그리고 왜 모두가 그것에 대해 흥분하거나 두려워합니까?

먼저, 두 개의 트윗에 요약되어 있습니다.

확장 법칙에 따르면 모델의

- 매개변수,

- 훈련 데이터,

- 훈련 컴퓨팅

을 늘리면 대형 언어 모델(LLM) 손실이 수학적으로 예측 가능한 방식으로 감소합니다.

이것이 왜 중요합니까?

이는 LLM을 크게 강화하기 위해 이론적 또는 아키텍처적 발전이 필요가 없음을 의미합니다.

그냥 GPU만 왕창 돌립시다!

(쓰레드 끝에 두 번째, 훨씬 더 중요한 이유가 있습니다!)

이제 세부 사항입니다. 첫째, 법칙의 형식:

L은 테스트 손실,

x = 계산, 데이터 세트 크기 또는 모델 매개변수 중 하나이고 다른 두 가지에 의해 병목 현상이 *없는 경우* 경험적으로 우리는

L = C/x^a

와 상수 C, a를 발견합니다. 이들은 확장 유형에 따라 다릅니다(아래 참조!).

또는 log L ~ -log(a)*log(x)가 있으므로 로그-로그 척도의 선형 관계입니다.

(따라서 직선 로그 로그 차트입니다.)

손실 L은 무엇입니까?

이것은 "교차 엔트로피"이며, 이 경우 (평균) 로그 가능도와도 같습니다. 아래의 공식!

직관적으로 LLM이 실제로 텍스트 데이터 세트를 생성할 가능성은 (규모, -log) 확률입니다. 이 확률이 높기를 원합니다.

이제 기본 사항을 알았으므로 여기에 퍼즐이 있습니다. 

확장 법칙 지수는 0.05와 0.1 사이입니다. 이 지수는 작습니다.

구체적으로, 훈련 데이터를 1,000배 늘리면 손실은 1/(1,000)^0.1 ~ 50% 정도만 줄어들 것입니다!

그렇다면 확장 법칙에 관심을 갖는 이유는 무엇입니까?

여기 핵심이 있습니다 - 왜 확장 법칙에 *실제로* 관심을 가져야 하는지, 왜 일부는 "Scale is All You Need"라고 말하며, 다른 이들은 "AGI가 온다"라고 말하는 이유:

*작은* 테스트 손실 개선으로 *커다란* 일반화와 LLM에 새로운 기능이 이루어집니다.

딥마인드의 예:

딥마인드는 두 개의 LLM인 고퍼와 친칠라를 훈련했습니다.

친칠라는 더 효율적으로 훈련되어 1.97의 교차 엔트로피를 얻었지만 고퍼의 2.05에 비해 4%만 향상되었습니다.

그러나 친칠라는 고등학교 수학과 같은 높은 수준의 다양한 과제에서 고퍼를 압도해 버렸습니다.

특히 친칠라는 전문 의학 시험에서 고등학교 화학에 이르는 다중 작업 언어 이해 데이터세트인 MMLU에서 고퍼보다 평균 10% 더 나은 성능을 보였습니다.

친칠라는 4% 낮은 손실로 대학 물리학에서 고퍼를 30% 이상 이겼습니다!

이것이 확장 법칙에 관심을 가져야 하는 *실제* 이유이며, 일부에서는 "AGI가 오고 있다"고 말합니다. 추론 과정은 다음과 같습니다.

1. 데이터, 매개변수, GPU 확장 -->

2. *소량이지만* 예측 가능한 모델 손실 감소 -->

3. LLM 기능의 *대량* 증가.

무섭습니다! (아마도)

확장 법칙에 대한 요약입니다! 스레드를 주의 깊게 읽으면 이제 다음 사항을 이해하게 됩니다.

1. 확장 법칙의 수학적 형식

2. 교차 엔트로피 손실

3. 확장 법칙으로 인해 손실이 약간 개선...

4. LLM 기능이 크게 개선

이 스레드는 확장 법칙에 대한 소개이자, 이를 발견한 오픈AI의 2020년 논문에 대한 설명이었습니다.

https://arxiv.org/abs/2001.08361

[익명(legg74fyjmi5)]

특붕 선정 다시 봐도 즐거운 글

[ㅇㅇㅇ(14.38)]

[레몬샤베트(yabu1020)]

좋다 - dc App

[익명(59.14)]

121.191 게이노?

[익명(112.184)]

빼박인듯

[익명(125.180)]

[익명(112.184)]

2025

[마인드업로딩(osushi518)]

규모를 크게 하면 재귀발전도 문제없는거임? - dc App