[📪정보] Q-Learning에 관한 설명

Q-Learning은 *아마도* AGI를 잠금 해제하는 비결은 아닐 것입니다. 그러나 합성 데이터 생성(RLAIF, self-instruct 등)과 데이터 효율적인 강화 학습 알고리즘을 결합하는 것이 AI 연구의 현재 패러다임을 발전시키는 열쇠일 가능성이 높습니다.

요약: 강화 학습을 통한 미세 조정은 ChatGPT/GPT-4와 같은 고성능 LLM을 교육하는 비결입니다. 그러나 RL은 본질적으로 데이터 비효율적이며, RL로 미세 조정하기 위해 사람을 사용하여 데이터 세트에 수동으로 주석을 추가하는 것은 비용이 매우 많이 듭니다. 이를 염두에 두고 AI 연구의 발전(적어도 현재 패러다임에서는)은 두 가지 기본 목표에 크게 의존할 것입니다.

1. 더 적은 데이터로 RL의 성능을 향상시킵니다.

2. LLM 및 수동으로 주석이 달린 더 작은 데이터 세트를 사용하여 가능한 한 많은 RL용 고품질 데이터를 종합적으로 생성합니다.

일반적인 RL 설정. 일반적으로 우리는 RL을 사용하여 현재 상태에서 취할 수 있는 최선의 조치를 반복적으로 선택하는 정책을 학습합니다. 그런 다음 이 정책을 사용하여 계속해서 다음 상태를 선택하고 최종/종료 상태에 도달할 때까지 기본 환경을 순회합니다. RL의 목적은 각 상태를 순차적으로 선택하고 방문하면서 환경으로부터 받는 보상을 최대화하는 정책을 학습하는 것입니다.

LLM을 위한 RL. 훈련 언어 모델은 RL에 대한 일반적인 문제 설정이 아닙니다. 그러나 RL 렌즈에서는 텍스트 생성을 쉽게 공식화할 수 있습니다. 언어 모델은 출력의 각 토큰을 자동으로 회귀적으로 출력하여 작동합니다. 따라서 우리의 상태는 모델의 현재 출력일 뿐입니다. 우리의 정책은 현재 토큰을 입력으로 하여 가장 가능성이 높은 다음 토큰을 예측하는 언어 모델입니다. 보상은 인간이 선호하는 것이며, 우리는 이 보상을 극대화하는 텍스트를 생성하도록 모델을 훈련시킵니다.

RL 알고리즘. 위에서 설명한 설정을 사용하면 LLM 미세 조정에 다양한 RL 알고리즘을 쉽게 적용할 수 있습니다. 예를 들어 Q-learning을 사용하여 간단한 어휘에 대한 다음 토큰을 예측하기 위한 조회 테이블을 사용하여 다음 토큰 예측을 모델링할 수 있습니다. 그러나 이 조회를 저장하는 것은 매우 메모리 집약적이며 결국 다루기 어렵기 때문에 Deep Q-Learning을 사용하여 조회 테이블 대신 신경망으로 다음 토큰 예측을 모델링하려고 합니다. 더 나아가, 대부분의 현대 연구에서는 실제로 PPO와 같은 보다 실용적이고 데이터 효율적인 RL 알고리즘을 사용합니다.

우리는 어디에서 벽에 부딪히나요? 최근 연구에서는 RL을 사용하여 LLM을 미세 조정하는 것(즉, 인간 피드백을 통한 강화 학습)이 매우 효과적이라는 것을 보여주었습니다. 그러나 한 가지 주요 문제가 있습니다. RL은 데이터가 비효율적이며 좋은 성능을 달성하려면 엄청난 양의 데이터를 수집해야 한다는 것입니다. RLHF에 대한 데이터를 수집하기 위해 인간이 자신의 선호도에 수동으로 주석을 달도록 했습니다(예: LLaMA-2는 100만 개의 인간 선호도 주석을 통해 미세 조정되었습니다). 이 기술은 잘 작동하지만 비용이 많이 들고 진입 장벽이 엄청나게 높습니다. 결과적으로 RLHF는 대규모 리소스(예: OpenAI 또는 Meta)를 보유한 조직에서만 활용되는 반면, 일상적인 실무자는 이러한 기술을 거의 활용하지 않습니다(즉, 대부분의 오픈 소스 LLM은 SFT를 사용하고 RLHF는 사용하지 않음).

해결책은 무엇입니까? 완벽한 솔루션은 없을 수 있지만 최근 연구에서는 강력한 LLM (예: GPT-4)을 활용하여 RL을 통한 미세 조정을 위한 데이터 수집 프로세스를 자동화하기 시작했습니다. 이는 LLM이 LLM 정렬에 대한 유해성 데이터를 종합적으로 생성한 Anthropic의 Constitutional AI에 의해 처음 탐색되었습니다. 나중에 Google은 LLM을 사용하여 RLHF의 전체 데이터 수집 프로세스를 자동화하는 RLAIF (Reinforcement Learning for AI Feedback)를 제안했습니다. 놀랍게도 LLM을 사용하여 RL을 통한 미세 조정을 위한 합성 데이터를 생성하는 것은 매우 효과적입니다.

LLM의 합성 데이터. 우리는 다양한 연구 논문을 통해 LLM을 사용하여 합성 데이터를 생성하는 것이 대규모 연구 분야라는 것을 확인했습니다. 이에 대한 예는 다음과 같습니다.

- Self-Instruct: LLM은 LLM을 사용하여 명령 튜닝 데이터 세트를 자동으로 생성할 수 있습니다(Alpaca, Orca 및 기타 여러 모델이 유사한 접근 방식을 따릅니다).

- LLaMA-2: LLM은 사람이 소량의 예제에 주석을 추가한 후 SFT에 대한 자체 고품질 데이터를 생성할 수 있습니다.

- 헌법적 AI: LLM은 자기 비판을 사용하여 RLHF 및 SFT를 통해 정렬을 위한 고품질 데이터 세트를 생성할 수 있습니다.

- RLAIF: 피드백을 수집하기 위해 인간을 사용하는 대신 LLM을 사용하여 RLHF의 피드백 구성 요소를 완전히 자동화하고 비슷한 성능을 달성할 수 있습니다.

내 테이크 아웃. AI/AGI가 우리 앞에 어떤 발전을 가져올지 잘 모르겠습니다. 그러나 디코더 전용 변환기를 사용하여 다음 토큰 예측의 현재 패러다임(예: 사전 훈련 -> SFT -> RLHF)을 고수한다면 강력한 LLM을 통한 합성 데이터 생성과 결합된 RL을 사용한 미세 조정이 효과가 있을 것이라고 거의 확신합니다. LLM을 민주화/개선하는 데 큰 역할을 합니다. 이 접근 방식을 통해 많은 자금을 지원받는 연구 그룹이 아닌 모든 사람이 최첨단 교육 기술에 접근할 수 있습니다

https://twitter.com/cwolferesearch/status/1727727148859797600

- dc official App

[📪정보] Q-Learning에 관한 설명

댓글 3

다른 게시글