[📪정보] ReST meets ReAct: Self-Improvement for M

[특갤용(118wshxhtx5h)]

ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent

Google Research

Abstract

Answering complex natural language questions often necessitates multi-step reasoning and integrating external information. Several systems have combined knowledge retrieval with a large language model (LLM) to answer such questions. These systems, however, suffer from various failure cases, and we cannot directly train them end-to-end to fix such failures, as interaction with external knowledge is non-differentiable. To address these deficiencies, we define a ReAct-style LLM agent with the ability to reason and act upon external knowledge. We further refine the agent through a ReST-like method that iteratively trains on previous trajectories, employing growing-batch reinforcement learning with AI feedback for continuous self-improvement and self-distillation. Starting from a prompted large model and after just two iterations of the algorithm, we can produce a fine-tuned small model that achieves comparable performance on challenging compositional question-answering benchmarks with two orders of magnitude fewer parameters.

복잡한 자연어 질문에 대답하는 것은 종종 다단계 추론과 외부 정보의 통합을 필요로 합니다. 여러 시스템들이 대규모 언어 모델(Large Language Model, LLM)과 지식 검색을 결합하여 이러한 질문에 답해왔습니다. 그러나 이러한 시스템들은 다양한 실패 사례를 겪고 있으며, 외부 지식과의 상호작용이 미분 불가능하기 때문에 이러한 실패를 해결하기 위해 직접적으로 종단 간(end-to-end)으로 훈련할 수 없습니다. 이러한 결점들을 해결하기 위해, 우리는 외부 지식을 이해하고 이에 대해 행동할 수 있는 능력을 가진 ReAct 스타일의 LLM 에이전트를 정의합니다. 우리는 이 에이전트를 ReST와 같은 방법으로 더욱 정제하여, 이전 궤적들에 대해 반복적으로 훈련하고, 지속적인 자기 개선과 자가 증류를 위해 성장 배치(growing-batch) 강화 학습과 인공지능 피드백을 사용합니다. 처음에는 큰 모델로 시작하여 알고리즘의 단 두 번의 반복 후에, 우리는 매개변수가 두 개의 크기 순서로 적은 세밀하게 조정된 작은 모델을 생성할 수 있는데, 이는 도전적인 구성적 질문-응답 벤치마크에서 비교 가능한 성능을 달성합니다.

key contributions

• We build a flavor of ReAct agent with self-critique for the task of long-form question answering.

• We define a proxy evaluation metric for the agent based on Bamboogle and BamTwoogle datasets, with a strong emphasis on auto-eval.

• We demonstrate that the performance of the agent could be effectively improved through Rest-style iterative fine-tuning on its reasoning traces.

• Furthermore, we do it purely from stepwise AI feedback without using human-labeled training data.

• Finally, we show that the synthetic data produced as part of this iterative process could be used for distilling the agent into one or two orders of magnitude smaller models with performance comparable to the pre-trained teacher agent.

주요 기여 사항:

• 우리는 장문형 질문 응답 작업을 위한 자가 비판 기능을 갖춘 ReAct 에이전트의 한 형태를 구축합니다.

• 우리는 Bamboogle 및 BamTwoogle 데이터셋을 기반으로 한 에이전트의 대리 평가 메트릭을 정의합니다. 이 평가는 자동 평가(auto-eval)에 큰 중점을 두고 있습니다.

• 우리는 에이전트의 추론 궤적에 대한 ReST 스타일의 반복적인 미세 조정을 통해 에이전트의 성능을 효과적으로 향상시킬 수 있음을 보여줍니다.

• 더욱이, 우리는 인간 레이블이 붙은 훈련 데이터를 사용하지 않고 순수하게 단계별 AI 피드백을 통해 이를 수행합니다.

• 마지막으로, 우리는 이 반복적인 과정의 일부로 생성된 합성 데이터를 사용하여 에이전트를 사전 훈련된 교사 에이전트와 비교할 수 있는 성능을 가진 훨씬 더 작은 모델로 증류할 수 있음을 보여줍니다.

https://huggingface.co/papers/2312.10003

Paper page - ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent

[부패하는유전자!!!(sansss2015)]

LLM은 자가 비판이 불가능 하다는 말도 있었는데 해결 된건가

[익명(rechido)]

[숨냥(vl4wx3sae6nq)]

[멜루(gustn1914)]

이 글 학술지가 어디야?

[디시콘발사대(fcbjsjmu1t9f)]