[📪정보] 언어 모델은 미세 조정 없이 스스로 정렬될 수 있습니다

https://arxiv.org/abs/2309.07124

RAIN: Your Language Models Can Align Themselves without FinetuningLarge language models (LLMs) often demonstrate inconsistencies with human preferences. Previous research gathered human preference data and then aligned the pre-trained models using reinforcement learning or instruction tuning, the so-called finetuning step. In contrast, aligning frozen LLMs without any extra data is more appealing. This work explores the potential of the latter setting. We discover that by integrating self-evaluation and rewind mechanisms, unaligned LLMs can directly produce responses consistent with human preferences via self-boosting. We introduce a novel inference method, Rewindable Auto-regressive INference (RAIN), that allows pre-trained LLMs to evaluate their own generation and use the evaluation results to guide backward rewind and forward generation for AI safety. Notably, RAIN operates without the need of extra data for model alignment and abstains from any training, gradient computation, or parameter updates; during the self-evaluation phase, the model receives guidance on which human preference to align with through a fixed-template prompt, eliminating the need to modify the initial prompt. Experimental results evaluated by GPT-4 and humans demonstrate the effectiveness of RAIN: on the HH dataset, RAIN improves the harmlessness rate of LLaMA 30B over vanilla inference from 82% to 97%, while maintaining the helpfulness rate. Under the leading adversarial attack llm-attacks on Vicuna 33B, RAIN establishes a new defense baseline by reducing the attack success rate from 94% to 19%.arxiv.org

이 논문에서는 " 자체 평가와 되감기 메커니즘을 통합함으로써 정렬되지 않은 LLM이 자체 부스팅을 통해 인간 선호도와 일치하는 응답을 직접 생성할 수 있다는 점을 발견했습니다 ."는 보다 안전한 출력을 생성한다는 측면에서 이점이 있는 것으로 보입니다. 우리는 이러한 모델을 정렬하기 위해 고품질 데이터의 중요성을 확인했습니다. 그러나 이 작업은 추가 데이터나 해당 문제에 대한 교육 없이 정렬에 접근합니다. 저자는 그들의 접근 방식이 " 유용성 비율을 유지하면서 바닐라 추론에 비해 LLaMA 30B의 무해성 비율을 82%에서 97%로 향상시킬 수 있다"고 주장합니다." 가중치 업데이트나 미세 조정이 필요하지 않지만 이 방법의 단점은 추론 시간이 길다는 것입니다(LLaMA 30B 모델과 HH 데이터 세트의 4배 증가). 흥미롭게도 저자는 이 방법을 잠재적으로 사용할 것을 제안합니다. 이후에 모델을 미세 조정하는 데 사용할 수 있는 더 나은 품질의 데이터를 생성하는 접근 방식 추론 속도는 앞으로 몇 달 동안만 향상될 것이므로 이러한 느린 방법이 자체 일관성 및 자체 일관성을 포함하여 LLM과 상호 작용하는 방법을 보는 것은 흥미로울 것입니다. 개선은 프롬프트를 조정하는 효과적인 방법으로 이점을 얻고 다시 등장할 것입니다. 또한 모든 접근 방식이 동일하게 구축되는 것은 아닙니다. 일부는 데이터 증대/생성, 일부는 추론 유도, 일부는 빠른 추론에 도움이 될 것입니다. 이 공간을 탐험해보세요.

- dc official App

[📪정보] 언어 모델은 미세 조정 없이 스스로 정렬될 수 있습니다

댓글 3

다른 게시글