[일반] o1~o3시리즈 추론이랑 CoT차이가 뭐냐

[솔.이☆(thfdldia123)]

어떻게작동하는거냐

쭝궈놈들이나 딥마에서 나온건 걍 빔서치 문장이나 풀이 단계 단위로 돌리고 별도 보상모델로 평가해서 스코어 높은거 채택하는거던데

아니 이럼 걍 보상모델에 의존하는거고 기존 LLM은 온도 조절해서 창발성만 뽑아쓰는거아님?

그럼이게 RLHF랑 뭐가다르지?

이거 깔끔하게 설명해줄 킹쪽황공자 없냐

이럴땐 또 숨어서 안나오냐

[ㅇㅋ(ijh2005)]

과정에 대한 보상이 들어간다는거?

[솔.이☆(thfdldia123)]

RLHF = ORM, Test time compute = PRM 이란 설명은 너무 피상적인걸

[ㅇㅋ(ijh2005)]

그리고 과정에 대한 보상을 LLM 이 한게 아닐까 싶음 오픈AI 과정감독논문이 딱 작년 하반기였거든

[ㅇㅋ(ijh2005)]

왜 피상적일까? TTC란 개념 자체가 PRM을 명시하는걸?

[ㅇㅋ(ijh2005)]

인간이 그거 일일이 처리하려면 돈과 시간이 어마어마하게 들어가지 ㅇㅇ 대형언어모델 규모생각하면 짱개...가 진짜 착취식으로 지식인들 굴려야 한다고 봄

[ㅇㅋ(ijh2005)]

근데 짱개정도면 RLHF 로 TTC 독자도달 가능할지도 모르겠다 걔네 학,석,박들 일자리 못구해서 썩어넘친다던데 걔네들 박봉으로 굴리면 될듯

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

o1은 CoT(Open Ai 방식으로 스트로베리)로 추론 수행 o3는 o1 프로모드(Test Time Scaling)처럼 TTS를 3단계로 세분화해서 탑재한거

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

RLHF는 학습 과정에서 인간 라벨러의 평가 데이터를 학습한 보상함수를 주는 리워드 모델이 loss를 깍거나 주는 식으로 상벌을 줘서 인간라벨러의 평가에 가깝게 알맞은 데이터를 출력하도록 하는 강화학습 방법이고 TTS(Test Time Scale)은 추론을 검증하는 방법이지

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

RLHF가 학습이 아닌 추론을 검증하는 과정으로 전환되면 테스트 타임 스케일링이랑 다를게 없음.

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

단순히 검증을 해서 가장 좋은 답변을 출력하는게 아니라 추론자원과 시간을 꼬라박아서 그만큼 검증에 자원을 더 사용해서 출력하는게 핵심이지. bon이든 다른 탐색 알고리즘이든 학습에 시간을 쏟아붓는 것 뿐만 아니라 추론에도 시간을 꼬라박아서 답변 품질을 높이는거