[📪정보] 온도와 Top P에 대해서 알아보자

[초존도초(htr3c654r6ft)]

내가 저번에 뿌이한테 댓글로 설명했었는데 그때 잠깐 착각을 해서 잘못 설명한 게 있었음

바로잡고자 확실하게 정리해봄

기존 클로드나 ChatGPT를 API로 사용하던 뿌이나 구글 AI Studio로 재미좀 보던 뿌이

Exp-1114로 이제 입문 시작한 뿌이라면 아래 설정에 꽤 익숙할 거라고 봄

온도(Temperature)와 Top P.

그럼 우선 온도(Temperature)란 정확히 뭘까?

그걸 알기 위해서는 가장 먼저 LM Head라는 놈을 알아야 함.

GPT모델의 기본 구조를 보자.

출처: 링크

'언어 토큰'을 생성하는 현대의 언어모델이라면 반드시 가졌을, 아키텍처 말미에 있는 LM Head.

쭉 훑어 보자.

* 편의상 토큰을 '단어'로 표현

입력 텍스트로 "일리야는 신인가?" 가 주어졌다고 하자.

우선 토크나이저(Tokenizer)라는 놈이 이를 분해한다.

[ "일리야", "는", "신", "인가", "?" ] 로 분해했다고 치자.

토크나이저는 사전(딕셔너리)를 가져서, 단어별로 숫자 인덱스로 매칭시킬 수 있다.

[12, 1242, 958, 2, 53] 이렇게 변환시켰다.

하지만 더 나아가서

[

[0.122, 0.3454, 0.021, ...],

[0.008, 0.1204, 0.184, ...],

[0.640, 0.8094, 0.802, ...], = [12, 1242, 958, 2, 53]

[0.900, 0.7471, 0.992, ...],

[0.001, 0.8381, 0.354, ...],

]

숫자 인덱스마다 더 숫자들의 집합으로 1:1 매칭시킨다.

이유는 다음과 같다.

"일리야" = [사람이름이구 음.. 뭔가 거의 대머리인 러시안 느낌이구..]

"는" = [명사 뒤에 쓰여야 할 것 같고.. 조사라는 놈 같고..]

"신" = [어떤 특정 맛을 표현하거나 명사로 쓰일 경우 God하고 동의어 같고..]

"인가" = [도장을 찍다 라는 문장과 관련된 것 같.. 아니면 뒤에 물음표 있으면 의문형 어미...]

"?" = [특수문자이고... 뭔가 의문이 있을 때 쓰일 것 같고...]

단어마다 '느낌'을 붙일 수 있다.

관계성이나 유사성 등 '위치' 좌표로 표현될 수 있다.

계산 될 때마다 의미가 정해질 수도 있다.

이것이 '임베딩 벡터'이다. (각 단어마다 갖는 위치 좌표)

처음에는 모두 무작위이고, 학습 과정에서 결정된다.

그럼 이 임베딩 벡터(각 단어마다 갖는 느낌 좌표)를 어떻게 곱씹을 수 있을까?

행렬이 필요하다.

[0.122, 0.3454, 0.021, ...] = "일리야"

[[0.006, 0.0023, 0.004, ... ],

[0.001, 0.0013, 0.072, ... ],

[0.039, 0.0074, 0.431, ... ], = 특정 가중치 행렬 (세로로 5개 벡터)

[0.116, 0.0027, 0.021, ... ],

[0.028, 0.0009, 0.009, ... ]]

"일리야"를 행렬 연산해 나온 결과는 다음과 같아진다.

[0.0016, 0.0020, 0.0163, 0.0155, 0.0039]

결과값은 특정 가중치 행렬의 세로 N개의 벡터 개수만큼의 숫자를 갖는 새로운 차원 벡터가 되는 것이다.

이것이 "일리야"라는 단어에 대해 한차례 곱씹고 새로운 단계의 의미로 변환돼 나온 새로운 느낌 좌표이다.

마찬가지 방법으로 계속 곱씹을 수도 있다.

중간에 셀프어텐션(이라는 알고리즘)도 써서 "일리야"와 "는"과 "신"과 "인가"와 "?"들간의 벡터를 서로 연산시키기도 한다.

최종적으로 우리는 LM Head에 도달한다.

[

[0.4823, 0.1938, 0.7645, ... ],

[0.0291, 0.8456, 0.3124, ... ],

[0.5643, 0.1284, 0.9472, ... ],

[0.3765, 0.5891, 0.2048, ... ], = LM Head

[0.1023, 0.6789, 0.3456, ... ],

....

]

LM Head도 마찬가지로 가중치 행렬에 불과하다.

그러나 행과 열의 크기가 중요.

무수히 곱씹은 뒤, 마지막으로 나온 느낌 벡터의 차원 개수만큼이 LM Head의 [[1, 2, 3, 4, ...N], ..] 열의 수가 되고,

LM Head와 연산되어 나오게 될 결과 벡터의 차원 수만큼이 LM Head의 [[..], [..], [..], ..N] 행의 수가 되는데

행의 수는 바로 토크나이저가 가진 사전의 단어 총 개수가 되어야 한다.

그래서 "일리야"로부터 출발해서

[0.0216, 0.0125, 0.0268, 0.0931, 0.0019, ... (사전 내 단어 총 개수만큼)] 라는 LM Head의 결과값이 나왔다고 하면

이것을 Softmax라는 특정 함수에 넣어 합이 1이 되게끔 해 확률분포처럼 만들면,

[0.02%, 0.01%, 0.023%, 0.3%, 0.001%, ... (사전 내 단어 총 개수만큼)] * 편의상 1%가 100%

사전 내에 있는 단어마다 각기 확률을 갖게 할 수가 있는데

이 분포에서 무작위 샘플링을 하여 특정 인덱스의 특정 단어를 다음 기대 단어로 출력시킬 수가 있는데 이게 바로 GPT의 근간이자

LM Head의 역할이겠다.

먼 길을 왔지만, 그래서 온도(Temperature)가 뭐냐?

이 최종 확률 분포를 완만하게 하거나 날카롭게 하거나 하는 장치를 뜻한다.

LM Head(x) = [0.0216, 0.0125, 0.0268, 0.0931, 0.0019, ... (사전 내 단어 총 개수만큼)]

전체의 합을 1로 만드는 Softmax 함수에 넣기 바로 "직전의 상태로 돌아가 조절"해야만 한다.

이 LM Head(x)에 1/T 이라는 값을 곱해보자. (즉, T로 나누자.)

LM Head(x) / T = [0.0216 / T, 0.0125 / T, 0.0268 / T, 0.0931 / T, 0.0019 / T, ... (사전 내 단어 총 개수만큼)]

만약 T가 충분히 커지게 되면 어떻게 될까? x / 9999 ≈ 0

[2.16e-6, 1.25e-6, 2.68e-6, 9.31e-6, 1.90e-7, ... (사전 내 단어 총 개수만큼)]

이 경우에 Softmax 함수에 넣을 경우 모두 거의 비슷한 확률을 지니게 된다. 모두 엇비슷한 값이기 때문이다.

그럼 반대로 T를 0에 가깝게 만들면 어떻게 될까? x / 0.0001 ≈ ?

[216, 125, 268, 931, 19, ... (사전 내 단어 총 개수만큼)]

차이가 한눈에 극명하게 나는 것을 확인할 수가 있다. 931과 19를 보라.

(1/x 를 그래프로 그려보면 x가 작아질수록 기울기가 급격해지고 x가 커질수록 기울기가 0에 가까워지기 때문이다) 

Softmax 함수에 넣을 경우 어떻게 될까?

[216, 125, 268, 931, 19]

이것들만 넣어보더라도 931만 거의 100%라고 할 수 있게고 나머지는 0%나 다름 없어진다. (이는 Softmax함수가 지수함수이기 때문이다)

"온도(T)가 0이면 확률이 가장 높은 토큰이 항상 선택됩니다."

- 정리 -

온도(T)가 높을수록 '다음 기대 토큰들'의 확률이 모두 동일해져서 무엇이 샘플링될지 점점 알 수 없어진다.

온도(T)가 낮을수록 '다음 기대 토큰들'의 확률이 더더욱 극명해져서 거의 대부분 같은 토큰이 샘플링될 확률이 높아진다.

그럼 이제 Top P가 뭔지 알아보자.

우리는 지금까지 [0.02%, 0.01%, 0.023%, 0.3%, 0.001%, ... (사전 내 단어 총 개수만큼)] 모든 단어들의 확률분포를 고려했다.

그러나 정말 모든 단어들을 고려할 필요가 있을까?

아니, 고려했을 때에 문제점은?

'정말 운이 나쁜 경우'가 있다. 0.00001%의 잭팟으로 전혀 무관한, 다음 단어로는 등장해서 안 되는 단어가 등장했다.

자기회귀 알고리즘의 특성상 단 한 번 삐끗해도 타격이 크다.

그런 상황을 미연에 방지하고자 떠올린 장치가 바로 Top K 혹은 Top P인 것이다.

Top K는 간단하다. 0보다 크고 사전 내 단어 총 개수보다 작은 자연수 하나를 택한다.

Softmax를 통과한 최종 확률 리스트(P(x))를 내림차순으로 정렬한 뒤 Top K 자연수만큼의 "높은 확률 단어들" 탑 K개를 따로 뽑아낸다.

만약 Top K가 10이라면 P(x) 내림차순 정렬 뒤 랭킹 탑 10개의 단어들만 따로 뽑아놓고 이들의 확률을 다시 정규화하여 합이 1이 되게끔하고,

그렇게 나온 P'(x)를 최종 확률분포로 사용하여 샘플링하는 것이다. 그럼 수 만 개의 단어들 중 가장 확률이 높은 10개 내에서만 샘플링하는 것이 가능해진다.

Top P 도 어렵지 않다.

Softmax를 통과한 최종 확률 리스트(P(x))를 내림차순으로 정렬한 뒤 Top P (= 0 ~ 1.0) 만큼의 확률이 될 때까지 위에서부터 차례대로 더해나간다.

즉, 가장 높은 확률이 0.4이고 그 다음이 0.2, 그 다음이 0.1, 그 다음이 0.05, 그 다음이 0.02라고 한다면,

그리고 Top P가 0.6이라고 한다면,

(0.4 + 0.2) 에서 이미 0.6이 되었기에 나머지 [0.1, 0.05, 0.02, ... (사전 내 단어 총 개수만큼)] 이들은 모두 제외하게 된다.

[0.4, 0.2] 두 단어만을 따로 뽑고 이들을 합이 1이 되게끔 정규화한 뒤 이 확률분포 내에서 최종 샘플링을 진행하는 것이다.

[(0.4/0.6), (0.2/0.6)] = [0.6667, 0.3333] = [약 66%, 약 33%]

짧게 하려고 했는데, 길어져 버림 ㅠ

도움이 됐으면 함

[익명(221.155)]

뭔지 몰랐는데, 존나 고맙다. - dc App

[초존도초(htr3c654r6ft)]

[난모르것다(farewell1592)]

둘 다 낮을수록 좀 경직된 답변이 나온단거네

[초존도초(htr3c654r6ft)]

잘 생각해보면 Top P나 Top K만 조절하는 것과 온도만 조절하는 것이 비슷한 효과를 불러일으킬 수 있다는 사실을 알 수 있음 아무튼 낮을수록 가장 학습이 많이 된 정해진 출력을 할 확률이 높아지는 거징

[예이에(211.238)]

님은 어떤 설정으로 사용하고 계심? Enhanced Civic Answers 사용 여부도 궁금

[초존도초(htr3c654r6ft)]

Enhanced Civic Answers는 실험 안해봐서 효과 뭔지 잘 모르는데 설정은 그냥 대체로 기본값 온도 1, Top P 0.95로 해놓고 있다가 뭐 때때로 온도 0으로 할 때도 있고 그럼

[디시콘발사대(fcbjsjmu1t9f)]

[초존도초(htr3c654r6ft)]

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[초존도초(htr3c654r6ft)]

저번에 내가 설명 잘못했던 게 님임 본문 보면 알겠지만 온도 1, Top P 1로 해야 조정 없는 쌩 확률분포로 사용할 수 있음 온도 0이면 Top P가 얼마든간에 무조건 가장 확률 높은 토큰 하나만 선택됨

[좋아해요(descend6264)]

그럼 온도를 1로 설정하면 완전히 똑같은 질문을 복붙해서 여러번 질문하면 각 답변이 다 다르게 나오는 거임? 이제까지 답변문은 질문에 따라 가장 확률이 높은 답변 1개로 고정되는 줄 알았는데 신기하네.

[초존도초(htr3c654r6ft)]

ㅇㅇ 확률분포에 맞춘 무작위 샘플링이라 - 그러나 특붕이라면 2025 AGI인데 뭔 상관이냔 말이지만.

[퐁칸8(zxvw157)]

특갤의 보배인데스

[바크(pornsex)]

와 정보 와드 ㄱㅅㄱㅅ