[📪정보] [재귀개선] ReST-MCTS*

[익명(221.167)]

https://arxiv.org/abs/2406.03816

1. "Recent methodologies in LLM self-training mostly rely on LLM generating responses and filtering those with correct output answers as training data."

- 최근 LLM 자기 훈련 방법론은 주로 LLM이 응답을 생성하고 올바른 출력 답변이 포함된 것을 필터링하여 훈련 데이터로 사용하는 것에 의존합니다.

2. "This approach often yields a low-quality fine-tuning training set (e.g., incorrect plans or intermediate reasoning)."

- 이러한 접근 방식은 종종 저품질의 미세 조정 훈련 세트(예: 잘못된 계획 또는 중간 추론)를 생성합니다.

3. "In this paper, we develop a reinforced self-training approach, called ReST-MCTS*, based on integrating process reward guidance with tree search MCTS* for collecting higher-quality reasoning traces as well as per-step value to train policy and reward models."

- 본 논문에서는 정책 및 보상 모델을 훈련하기 위해 단계별 가치를 포함하여 더 높은 품질의 추론 흔적을 수집하기 위해 과정 보상 지침과 트리 탐색 MCTS*를 통합한 ReST-MCTS*라는 강화된 자기 훈련 접근 방식을 개발합니다.

4. "ReST-MCTS* circumvents the per-step manual annotation typically used to train process rewards by tree-search-based reinforcement learning: Given oracle final correct answers, ReST-MCTS* is able to infer the correct process rewards by estimating the probability this step can help lead to the correct answer."

- ReST-MCTS*는 일반적으로 과정 보상을 훈련하기 위해 사용되는 단계별 수동 주석을 트리 탐색 기반 강화 학습으로 우회합니다: 최종 올바른 답이 주어지면, ReST-MCTS*는 이 단계가 올바른 답으로 이끌 가능성을 추정하여 올바른 과정 보상을 추론할 수 있습니다.

5. "These inferred rewards serve dual purposes: they act as value targets for further refining the process reward model and also facilitate the selection of high-quality traces for policy model self-training."

- 이러한 추론된 보상은 이중 목적을 수행합니다: 과정 보상 모델을 더욱 정제하기 위한 가치 목표로 작용하며, 또한 정책 모델 자기 훈련을 위한 고품질 흔적 선택을 용이하게 합니다.

6. "We first show that the tree-search policy in ReST-MCTS* achieves higher accuracy compared with prior LLM reasoning baselines such as Best-of-N and Tree-of-Thought, within the same search budget."

- 우리는 먼저 ReST-MCTS*의 트리 탐색 정책이 동일한 탐색 예산 내에서 Best-of-N 및 Tree-of-Thought와 같은 이전 LLM 추론 기준보다 더 높은 정확도를 달성함을 보여줍니다.

7. "We then show that by using traces searched by this tree-search policy as training data, we can continuously enhance the three language models for multiple iterations, and outperform other self-training algorithms such as ReSTEM and Self-Rewarding LM."

- 그런 다음 이 트리 탐색 정책에 의해 검색된 흔적을 훈련 데이터로 사용함으로써 여러 번의 반복을 통해 세 가지 언어 모델을 지속적으로 향상시킬 수 있으며, ReSTEM 및 Self-Rewarding LM과 같은 다른 자기 훈련 알고리즘을 능가함을 보여줍니다.

[익명(rechido)]