[📪정보] 문제 '1개'로 강화학습 돌리기

[익명(121.178)]

-특정 수학 데이터셋 문제 중 변동성이 큰 문제를 고름

-Qwen 2.5-math-1.5B에 이 문제 딱 1개 (또는 2개) 를 넣고 강화학습(RLVR)을 돌린 결과

-수학 훈련 데이터 7500문제를 다 쓴 것과 비슷하거나 오히려 높은 수학 벤치마크 점수들을 기록

-시사하는 점 : LLM의 추론 능력은 이미 기본 모델 안에 잠재돼 있고, 극소량의 데이터 및 적절한 탐색 유도만으로 이를 끌어낼 수 있다는 강력한 근거 제시

-과적합 후 일반화 현상 : 훈련 예제 정답률은 금방 100%에 도달하지만, 테스트 성능은 그 이후 수천 step 동안 계속 상승 (Grokking과 유사해보이지만, 세부적으로는 다르다고 설명)

-도메인 일반화 : 예제가 기하 문제 1개여도 대수, 수론 등 다른 도메인 점수 동반 상승

-Self-Reflection 빈도 증가 : "rethink", "recheck" 같은 자기 검증 문구가 학습이 진행될 수록 더 자주 등장

-비수학 벤치마크 성능 개선 : 비수학 추론 벤치마크에서도 1-shot RLVR 적용 후 성능이 꽤 증가함 -> 수학 문제 학습으로 모델이 더 나은 상식적 추론 능력을 가지게 됨

-왜 되는가? : 예제가 1개라도 '정답을 반드시 맞혀야 한다'라는 정책 신호가 모델에 강한 규제 역할을 함

-활용점 : 소형 모델의 경우, 수천개의 데이터 수집 및 정제 없이 잘 선별된 극소수 문제로 추론 성능을 높일 수 있다

-훈련 예제 과적합 현상 :

학습이 많이 진행되어 Step 1860에 이르렀을 때,

인간이 해독할 수 없는 난독 구문들을 생성했으나, 훈련 예제 정답은 맞추었고,

테스트 문제는 멀쩡하게 푸는 현상이 관찰 됨

-한줄 요약 : "훈련 예제 한두 개와 적절한 탐색 유도만으로, 소형 LLM의 잠재 추론 능력을 꺼낼 수 있다."

https://arxiv.org/abs/2504.20571

[ㅇㅇ 1(220.127)]

서울?

[콜라조무사(tkatjdrhdghkrnr123)]

훌륭하군

[익명(58.234)]

마지막 그림하고 설명 존나무섭네 ㅜ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[ㅇㅇ 4(180.224)]

과적합은 그런 뜻이 아니에여

[익명(222.107)]

overfitting

[EXERCENS(exercens02)]

님이 말한 건 심적표상에 가까운 듯

[ㅇㅇ 5(58.29)]

그건 천재의 영역보다 존나 많이 해서 흐름이 느낌상 대충 보이는거임 오히려 천재는 긴시간 동안 존나 고민해서 개쩌는거 찾아내는게 천재의 영역이고 저런건 오히려 경험이랑 노력빨이 심함

[Borazine(player4081)]

[ㅇㅇ 2(110.10)]

[익명(perform4782)]

[익명(cswpgupyyfac)]

굉장히!

[ㅇㅇ 3(211.62)]

이게왜되노 ㄷㄷ

[스트레잇지(57r4t3gy)]

이소룡 발차기 얘기 생각나게 하네

[초존도초(htr3c654r6ft)]

여기서 + 추론 토큰 수를 최소화하는 강제 함수를 적용하면 이해할 수 없는 토큰들로 추론 압축이 가능해질 듯

[익명(nicely8886)]

굉장히 서울

[익명(patent9354)]

꼇 굉장히 서울 롶

[익명(course2187)]

[익명(121.140)]

넘 믾이 풀어서 답 이미 안다고 딴생각하나보네

[순문희재(musical5073)]

[익명(203.171)]

굉장히 서울