[📪정보] TTC 씹가속화 - RLV

[익명(121.178)]

1. 원래 예전 고전적인 강화학습에는 정답을 검증하는 가치 함수 자체도 학습을 했지만

Deepseek R1에 사용된 GRPO와 같은 최신 LLM 강화학습에 적용되는 가치 함수는 효율성 등을 위해

단순히 정답이 맞는지 아닌지만 체크함

저자들은 그로 인해 AI가 

내재적으로 자신의 답변 품질을 평가하고 활용할 수 있는

중요한 검증 능력을 잃어버렸다고 판단함

2. 이를 해결하기 위해, 저자들은 RLV라는 방법을 제안함

핵심 아이디어는

어차피 강화학습 중에 생기는 풀이과정 데이터를 버리지 말고

이걸로 검증까지 잘 하도록 LLM을 동시에 학습시키자 라는 것

즉, 예를 들어 LLM이 특정 수학 문제를 풀기 위해 강화학습 과정에서

여러 풀이과정 데이터를 만들어낼텐데,

이 때 이 풀이과정 데이터를 보고 '맞다' '아니다' 까지 맞히도록 학습시키는 것

이를 통해 단일 LLM은 생성기 & 검증기 역할을 동시에 수행하게 됨

어차피 생기는 풀이과정을 사용하는 것이기 때문에 학습 계산량도 크게 증가하지 않음

3. 이로 인해 생기는 이득은

병렬 샘플링 전략

즉, Best-of-N, Majority Voting, Weighted Voting같은 방법들로

문제의 정답률을 높이는데 사용되는 TTC 요구량을 다른 방식들에 비해 크게 효율적으로 만들 수 있음

검증을 잘 하도록 만들어진 LLM을 TTC에 활용하기 때문에

이 모델들이 여러 개 생성된 정답들에 대해 신뢰도 점수를 부여하고,

이를 바탕으로 랭킹을 매겨준 뒤 Best-of-N 등의 방식을 사용할 수 있기 때문

4. 이로 인한 이득을 표현하면 아래와 같음

기존 방식들에 비해 8~32배, 

특히 Deepseek R1에 사용된 GRPO에 비해서도 8배 효율적인 TTC 계산량으로 동일한 점수를 달성할 수 있음

덕분에 같은 계산량 기준으로는 당연히 더 높은 성능을 보임

5. TTC에는 크게 보면

문장을 더 길게 생성하는 방식과

여러 문제를 병렬적으로 풀고 이를 합쳐서 결론을 내는 방식이 있는데

두 방식 모두의 효율성을 높이기 때문에

둘을 결합하여 R1 모델에 사용하면 1.2 - 1.6배 더 높은 성능 향상을 보임

6. 큰 모델로도 확장되는지 확인해봄

잘 됨

6. 미래 작업

현재는 검증은 만들어진 풀이 과정에 대해 SFT (지도 미세조정)으로 학습되고 있지만

추후에는 생성과 검증까지 RL을 통해 처음부터 끝까지 학습하는 것을 목표로 하고 있음

이를 통해 검증기로서의 LLM의 성능을 매우 높일 수 있을 것으로 기대 됨

7. 한줄 요약

'RLV는 LLM을 추론기와 생성적 검증기로 동시에 학습시켜

TTC 효율성과 추론 정확도를 크게 향상시키고

다양한 수학 및 물리 문제에 대한 강력한 일반화 능력을 보여줬다.'

계속해서 LLM 강화학습 굵직한 연구 결과들이 하루가 다르게 공개되는걸 보니

R1 이후 연구메타가 많이 달라졌음이 실감됨

https://arxiv.org/pdf/2505.04842

https://x.com/agarwl_/status/1921203670353355160

[ㅇㅇ 1(14.4)]

선개추

[익명(merge3772)]

[익명(shore1232)]

이런거 보면 agi 2단계조차 아직 제대로 달성 못했음이 느껴진다

[익명(211.169)]

고작 그런 결론이 나오느냐?

[ㅇㅇ 3(58.29)]

[ㅇㅇ 3(58.29)]

언제 오냐고!!!

[익명(tragedy7204)]

[익명(210.121)]

정보글에는 개추실시

[Moonchild(resolve0716)]

[이세이미야케(jkwarawara)]

[난모르것다(farewell1592)]

딥식이가 강화학습에 제대로 불붙인거 같긴함

[ㅇㅇ 2(180.233)]

덕분에 잘 보고 있음. 넌 이런 논문들 어디서 찾아봄? 논문 사이트에서 전부 읽어보는건 아닐텐데

[글쓴 ㅇㅇ(121.178)]

주로 트위터에서 흥하는거 위주로 봄

[천사다천사(jjtheman999)]

[익명(kingdom1952)]

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

[익명(hyeongim264)]

"별들이 정렬되고 있다"

[익명(kdo48681)]

'천체 정렬'

[순문희재(musical5073)]