[📪정보] 현재 AI 연구판 LLM 강화학습 논쟁

[익명(121.178)]

1. RL은 LLM에 내재된 추론 능력을 끌어내는 것이다

"한 개의 예제로도 강화학습(RL)은 동작함"
"무작위 보상으로도 RL은 동작함"
"기본(base) 모델의 pass@256 성능이 RL 모델의 pass@1 성능과 비슷함"
"RL은 전체 파라미터 중 극히 일부만 업데이트함"

(*위 내용은 최근 이목을 끌었던 논문들의 내용이다)

최근 논문들은 모두 같은 방향을 가리킨다: RL은 본질적으로 사전학습(pretraining) 중 이미 학습된 잠재 행동(latent behavior)을 끌어내는(elicit) 역할을 하지, 새로운 행동을 가르치는 것은 아니다.
Yann LeCun이 말한 "RL은 케이크 위의 체리"라는 비유가 결국 맞았던 셈이다.

그렇다면 이건 RL에 대해 부정적인 신호일까?
꼭 그렇진 않다! 어쩌면 우리는 RL을 특정 작업에 맞춘 현장 실습의 마지막 단계로 봐야 할지도 모른다.

예를 들어, 당신이 고객 지원 상담원을 채용한다고 해보자.
이미 똑똑하고 유능한 사람을 뽑겠지만, 몇 통의 전화를 듣고 피드백을 주는 과정도 포함된다.
그게 바로 조직의 미묘한 규칙과 작업 특성에 그 사람을 맞추는 방법이고, 이를 통해 성능이 극적으로 향상될 수도 있다.

RL도 LLM에 대해 정확히 그런 역할을 한다.
나는 이 방식이, 신뢰성 있는 에이전트를 배포하려는 조직들 사이에서 표준 관행이 될 것으로 본다.

2. RL은 단순히 내재된 추론 능력을 끌어내는 것 이외에도 결국 새로운 지식을 얻을만큼 발전할 수 있다

아래는 최근 앤트로픽 연구원(더글라스 숄토)의 팟캐스트 내용

Q: 최근 논문을 보면 강화학습이 실제로 새로운 역량을 끌어내는 것인지, 단지 기본 모델에 내재된 추론 능력을 사용하는 것인지 논란이 있다.

A: 해당 칭화대 논문은 기본 모델(사전학습) 대비 강화학습에 컴퓨팅을 비교도 안되게 적게 사용했다.

알파고, 알파제로 같은 딥마인드 연구들이 이미 증명했듯이,

강화학습 신호가 충분히 명확함에 더불어

충분한 RL 컴퓨팅이 있으면 인간 수준을 뛰어넘는 새로운 지식을 가르칠 수 있다.

...

LLM의 곡선은 조금 다르다.

세계 지식을 알고 있기 때문에

초반에 막다른 골목이 없기 때문이다.

그래서 강화학습 초반에 급등하는 현상이 나타난다.

사람들이 '아, 예시 하나만 보고도 배울 수 있겠네'라고 말하는게 그 이유다.

그 뒤에 아마 일반적인 내용을 배우게 될 것이다.

Q : "오늘 클로드4가 나왔는데, 향후 6~12개월 뒤는 어떤 모습일까?"

-앞으로 6~12개월은 강화 학습을 확장하고 그것이 우리를 어디까지 이끌지 탐색하는 모습이 될 것이다. 그리고 그 결과로 엄청나게 빠른 발전을 기대해야 한다.

-다리오가 여러 번 에세이에서 설명했듯이, 사전 훈련에 비해 RL 확장은 비교적 적은 양의 컴퓨팅이 적용되었다.

-따라서 앞으로 여전히 엄청난 이득을 얻을 수 있음을 의미하며, 컴퓨팅도 올해에만 해도 극적으로 증가하고 있다.

OpenAI 연구원의 최근 발표 슬라이드

(allen ai 연구원. o3 RL 연산량은 그냥 추정치임에 유의)

RL + LLM은 베이스 모델에 내재된 추론 능력을 이끌어내는 것 뿐이다 (주로 학계 사람들)

vs

일시적인 현상일 뿐, RL을 확장하면 그 이상의 새로운 단계로 나아갈 것이다 (주로 프론티어랩실 사람들)

라는 두 가지 주장이 양립하는 상황

개인적으로는 결국 프론티어랩실은 후자를 이미 어느정도 확인하고

RL 확장에 명확한 투자를 보여주고 있으니 후자가 맞다고 보지만

공개적으로 드러난건 아직 많이 없으니

그냥 전자같은 의견도 있구나 하고 생각하는 정도

AI 연구자들마다도 현재 생각이 대립하는 만큼

판단은 개인의 자유

[약팔이아님(vital7966)]

RL중에서 pretrain이랑 똑같은짓을 하는 애들이 있어서 그렇지 무의미하진 않음

[익명(haircut2819)]

근데 얀르쿤이 이런거보면 통찰력 ㅈ되긴 하네 솔직히 그나이면 머리 안돌아갈거같은데 - dc App

[ㅇㅇ 1(221.157)]

이래뵈도 CNN의 창시자임

[익명(merge3772)]

[익명(220.84)]

전자는 깔끔하지만 오픈소스끼리 서로 물고 빨아서 만들어진 개념 같기도 함 후자는 결국 내 시점에선 모르지만 그냥 하는 거 보고있으면 증명되니까 편하긴 함ㅋㅋ

[ㅇㅇ 2(211.52)]

근데 애초에 빅테크쪽이야 본인들이 천억이 넘어가는 모델을 연구 할 수 있고 학계는 그게 안되는데 학계의 주장에 설득력이 있나

[ㅇㅇ 3(110.10)]

[Xayin(cosmic666)]

멀티 턴 작업 시에 작업에 대한 피드백이 제대로 되지 않는 현 패러다임의 한계 상 TTC 스케일링이 데이터셋에서 유도된 확률분포에 더 가깝게 모사하는 효과를 주는 것이상을 기대하기가 힘들지 분명 기존 친칠라 법칙보다 효율이 좋고 그동안 데이터셋을 제대로 활용하지 못한 걸 더 잘 활용하게 된 것만으로도 엄청 고무적이지. 하지만 최근 O3 환각이 더 심하다는 결과나 일리야가 이해에 대한 새로운 스케일 법칙 운운한 거 보면 앞으로 2~3번의 새로운 발견이 필요하다는 견해에 좀 더 동의하게 된다. 물론 GPT-3에서 10배 확장해서 GPT-4가 창발적인 것처럼 보이는 발전을 이뤘으니 RL 컴퓨팅 자원을 확장하면 또 어떤 게 튀어나올지 모르지.

[순문희재(musical5073)]

[ㅇㅇ 4(180.224)]

후자가 확인을 해서 그런걸지, 본인들 이익이 걸려있고 후퇴가 안되니까 그럴지... 확실하지 않으니 논란이것지