[📪정보] 정렬 미세 조정을 통해 대규모 언어 모델의 추론 기능 향상

https://arxiv.org/abs/2309.02144

Making Large Language Models Better Reasoners with AlignmentReasoning is a cognitive process of using evidence to reach a soundconclusion. The reasoning capability is essential for large language models(LLMs) to serve as the brain of the artificial general intelligence agent.Recent studies reveal that fine-tuning LLMs on data with the chain of thought(COT) reasoning process can significantly enhance their reasoning capabilities.However, we find that the fine-tuned LLMs suffer from an \textit{AssessmentMisalignment} problem, i.e., they frequently assign higher scores to subparCOTs, leading to potential limitations in their reasoning abilities. To addressthis problem, we introduce an \textit{Alignment Fine-Tuning (AFT)} paradigm,which involves three steps: 1) fine-tuning LLMs with COT training data; 2)generating multiple COT responses for each question, and categorizing them intopositive and negative ones based on whether they achieve the correct answer; 3)calibrating the scores of positive and negative responses given by LLMs with anovel constraint alignment loss. Specifically, the constraint alignment losshas two ives: a) Alignment, which guarantees that positive scores surpassnegative scores to encourage answers with high-quality COTs; b) Constraint,which keeps the negative scores confined to a reasonable range to prevent themodel degradation. Beyond just the binary positive and negative feedback, theconstraint alignment loss can be seamlessly adapted to the ranking situationswhen ranking feedback is accessible. Furthermore, we also delve deeply intorecent ranking-based alignment methods, such as DPO, RRHF, and PRO, anddiscover that the constraint, which has been overlooked by these approaches, isalso crucial for their performance. Extensive experiments on four reasoningbenchmarks with both binary and ranking feedback demonstrate the effectivenessof AFT.arxiv.org

추론은 인공 일반 지능 에이전트의 중요한 프로세스이며, 최근 연구에 따르면 COT(사고 사슬) 추론 프로세스를 통합한 데이터로 LLM(대형 언어 모델)을 미세 조정하면 추론 능력을 향상시킬 수 있는 것으로 나타났습니다. 그러나 이러한 미세 조정 프로세스는 LLM이 수준 이하의 COT에 더 높은 점수를 할당하여 추론 기능을 제한하는 평가 불일치 문제로 이어지는 경우가 많습니다. 이 문제를 해결하기 위해 연구원들은 세 단계를 포함하는 AFT(Alignment Fine-Tuning) 패러다임을 도입했습니다. 첫째, LLM은 COT 교육 데이터로 미세 조정됩니다. 둘째, 각 질문에 대해 여러 COT 응답이 생성되고 정확성에 따라 긍정적 또는 부정적으로 분류됩니다. 마지막으로, 긍정적인 반응과 부정적인 반응의 점수는 고품질 COT가 더 높은 점수를 받고 모델 저하를 방지하는 새로운 제약 조건 정렬 손실을 사용하여 보정됩니다. 제약 조건 정렬 손실은 순위 시나리오에도 적용할 수 있습니다. AFT의 효율성은 바이너리 및 순위 피드백을 모두 사용하는 4가지 추론 벤치마크에 대한 광범위한 실험을 통해 입증되었습니다. 또한 이 연구에서는 최근 순위 기반 정렬 방법을 탐색하고 성과에 대한 제약의 중요성을 강조합니다.

- dc official App

[📪정보] 정렬 미세 조정을 통해 대규모 언어 모델의 추론 기능 향상

댓글 2

다른 게시글