[📪정보] Quiet-STaR 알고리즘 설명

[특갤용(118wshxhtx5h)]

논문 읽고 빠르게 정리해봤습니다.

1. 요약

reasoning은 text를 쓰는데 있어 내부적 과정.

언어모델은 임의의 텍스트로부터 명시되지 않은 근거를 추론해낼 수 있어야함.

STaR(Zelikman et al. 2022) (Self-Taught Reasoner)는 fewshot 예시로부터 근거를 추론해냈지만 제한적임.

Quiet-STaR은 이의 발전된 버전. 각 토큰마다 미래 텍스트를 설명할 수 있는 근거를 생성함.

토큰별로 병렬화해서 생각을 생성하고, ‘생각’의 시작과 끝을 표현하는 토큰을 사용, 여기에 teacher-forcing 테크닉 씀.

2. 프레임워크

(1) ‘생각’들을 병렬적으로, 모든 토큰별로 생성함 (think)

(2) 생각을 이용해서 다음 토큰을 예측한 것과 이용하지 않고 예측한 걸 합침 (talk). 위 그림에선 5 다음 4를 예측하기 위해 ‘Sampled Thought’를 여러개 생성하고 참조함.

(3) REINFORCE 써서 (몬테카를로 policy gradient 강화학습 알고리즘인데 요즘엔 언어모델 RLHF할때도 PPO 대신에 많이 씁니다.) 4를 맞추는데 도움이 된 생각은 보상(reward)를 주고, 아닌 생각은 버림. (learn)

3. 알고리즘

초기 언어모델과 생성할 ‘생각’의 개수, 생각 정답 비교할 truth 토큰 개수 등을 받으면, 위같은 근거 생성하는 언어 모델을 출력하는 구조.

num_steps만큼 언어모델을 학습하면서 i번째 iter일때

i번째 언어모델로 학습 텍스트 시퀀스 X를 인코딩한 h^init에 대해

시퀀스 길이 l개 만큼 토큰 별로 생각 생성을 병렬화해서 각각을 j로 둠.

(1) h^init로부터 ‘생각’ 없이 다음 n_true개의 토큰 확률을 예측하고,

(2) 같은 파라미터의 언어모델로 ‘생각’을 출력. 이 생각을 이용해 (1)과는 다르게 j까지의 원래 시퀀스 + ‘생각’ + j부터 j+n_true까지 시퀀스로 재구성한 뒤 다시 다음 토큰을 예측함.

(1)과 (2)를 합쳐서 얼마나 ‘생각’을 참조할지 결정하는 가중치 w_{j:j+n_true}를 만듬. 이 가중치대로 talk 토큰 확률을 예측.

talk 토큰 확률 모델과 실제 j:j+n_true 토큰으로 log likelihood loss를 계산.

해당 토큰 별로 나온 생각들의 likelihood의 평균보다 높은 생각들에게만 reward를 주고 나머지는 버림. REINFORCE policy gradient loss를 취함.

전체 loss function은 likelihood loss + REINFORCE loss로 언어모델 파라미터를 학습함.

4. 결과

GSM8K, CommonsenseQA에서 Quiet-STaR 학습할수록 baseline대비 정확도가 향상됨. 생각의 개수, 예측할 토큰 개수 늘릴수록 상승폭이 큼.

[측면강타(find9336)]

뭔말인지 완벽히 이해했어

[쭝쭝(award3330)]

[익명(59.8)]

[MoonChild(aowlr2001)]

먹금콘 개웃기네 ㅋㅋㅋㅋㅋㅋㅋ

[디시콘발사대(fcbjsjmu1t9f)]

[초존도초(htr3c654r6ft)]

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[은바다(nmra3fmzhxmg)]

[도로시냥(slzpdnjsxnf)]

[익명(114.205)]

[익명(landofooo)]

주딱 극대노

[이세이미야케(jkwarawara)]

아~ 이런거였구나~ - dc App

[부패하는유전자!!!(sansss2015)]

G O A T

[익명(110.13)]

'생각'이 미래 텍스트를 설명할 수 있는 근거임?

[특갤용(118wshxhtx5h)]

미래 토큰 확률을 예측할 때 '생각'을 생성해서 지금까지의 텍스트 뒤에 끼워넣고 예측하는데 사용합니다. 언어모델이 미래 텍스트를 그렇게 예측한 근거라고 볼 수 있겠네요.

[디시콘발사대(fcbjsjmu1t9f)]

생각이 근거로 반드시 동작한다고 생각해서 만들기보단 '이번엔 이렇게 해봤다' => '잘 됐다' => '왜 결과가 더 좋아졌나, 이게 원인이 아닐까' 이런 느낌 아님? 아님말고

[익명(110.13)]

그러니까 대충 미래 텍스트 예측(토큰 확률 예측)을 한 번 하고, 그렇게 예측한 이유(생각)를 생성하게 해서 그걸 참조해서 또 한 번 미래 텍스트 예측을 한 후, 두 예측을 비교해 기준 점수(likelihood 평균)보다 높으면 살리고 낮으면 죽이는 식으로 학습하는 알고리즘이다는 거임?

[특갤용(118wshxhtx5h)]

네 언어모델 특성상 그게 더 맞는 설명 같습니다.

[특갤용(118wshxhtx5h)]

ㄴ두 예측을 비교하기보단 두 예측을 합쳐서 나온 (알고리즘 Mix Logits 부분) 여러 개의 liekihood 중에서 평균 이하는 쳐내는 방식입니다.

[익명(61.97)]

다들 고생많았다

[익명(119.197)]

게임 오바.

[익명(110.13)]

싹다 확정 많았다

[익명(211.109)]

아 완벽히 이해했어! <-(이해 못 함)

[익명(211.248)]

싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게

[익명(211.248)]

싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게

[익명(211.248)]

싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게임오바완성됐다잘가라완몰가에서보자싹다구속시켜끝났네고생했다게

[Samus(tktlqtk44)]

[MoonChild(aowlr2001)]

주딱의 품격..

[익명(125.180)]

[lIlIllIlIIlIlIllIlIl(kimfesu)]

[익명(125.240)]

싹다 구속시켜.

[익명(49.169)]

주딱 현.직. 자야?

[부패하는유전자!!!(sansss2015)]

현직자 금지어 예전에 풀음

[익명(27.119)]

주딱은 주딱이네~(사실 무슨 말인지 하나도 모르겠음)

[익명(121.128)]

싹다 꼬추빨았다

[초존도초(htr3c654r6ft)]

누가 주딱보고 급딱이랬냐

[부패하는유전자!!!(sansss2015)]

나한테 한거임 그거

[빅모드(kangnhong)]

근데 나무위키 특갤문서엔 누가 주딱을 급식9충에 안하무인 독재자를 만들어놨냐?

[초존도초(htr3c654r6ft)]

주딱한테도 급딱이라고 그러던데 ㅋㅋ

[은바다(nmra3fmzhxmg)]

[빅모드(kangnhong)]

이런분한테 금지어 좆같다고 염병떠는 똥글만싸는새끼들 누구야?

[Zoltraak(thor2018)]

뭐 엄청 쩌는 건 아니라도 쪼금씩이라도 발전하는 거보니까 그래도 쪼금 위안이 된다.

[익명(220.65)]

말하기 전에 생각했나요?

[조바이든(hnn12)]

[익명(gpt2030)]

이런 글보다 트윗 소식이 훨씬 더 알차지 않나??? 이런 하찮은 것들은 gpt한테 설명 요청하고 요약하면 그만인데 여기 주딱은 선형이라 이런 글이 정보글이라고 생각하나봄

[익명(156.146)]

ㅋㅋㅋ 특평 수준

[떼껄룩해적단(piracykitten)]

[익명(220.79)]

와 진짜 좆같이 어렵긴하다 진짜 내가 머리좋았으면 무조건 대학도 ai쪽 진학했을텐데 내 평범한 대가리로는 아무것도 할수없다는게 슬프긴하네

[익명(125.180)]

부모를 원망해야지 별 수 있나.,. 열등유전자 대물림한.

[익명(125.177)]

싹다 노동시켜

[익명(175.193)]

재밌는 생각이긴 한데 이거 계산 비용 감당 되나?

[익명(landofooo)]

이제 그걸 공학자들이 줄여야지

[익명(180.230)]

비용은 두번째로 생각할 문제임 일단 agi를 만들 수만 있다면.

[익명(rty1x21s8nhq)]

[ㅇㅋ(ijh2005)]

저거 oai가 발표한거맞음?

[ㅇㅋ(ijh2005)]

도식보니까 rnn계열 아이디어로 포지션임베딩 대체한거같은데 저건 병렬화가 아니지않?

[특갤용(118wshxhtx5h)]

oai가 아닌 스탠포드에서 낸 논문이고, 여러개의 생각 생성이 병렬화됐다는 의미입니다.

[ㅇㅋ(ijh2005)]

아 그얘기가 아니구나 주딱햄 요약정리 진짜 고마워용

[ㅇㅋ(ijh2005)]

어쩐지 설계 방식이 너무 oai스럽지 못한느낌이라 ㅇㅇ

[익명(rechido)]

[익명(111.91)]

이러면 사용자 컨텍스트로 재학습을 한다고 가정하면 점점 관련 질문에 관한 예측 성능이 올라가게되는거아님?? 그렇게 된다면 초기 생각 갯수와 토큰 갯수를 잘 산정에서 사용한다면 효율적인 llm씹가능이네 그리고 사용자가 많을수록 비슷한 질문이 많을수록 성능 향상이 빠르겟네 - dc App