[📪정보] 독점 LLM을 모방하는 것의 잘못된 약속

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

https://twitter.com/_akhaliq/status/1661910726179713025

The False Promise of Imitating Proprietary LLMs

An emerging method to cheaply improve a weaker language model is to finetune it on outputs from a stronger model, such as a proprietary system like ChatGPT (e.g., Alpaca, Self-Instruct, and others). This approach looks to cheaply… pic.twitter.com/PjNBeBAWLy

— AK (@_akhaliq) May 26, 2023

독점 LLM 모방의 잘못된 약속

약한 언어 모델을 저렴하게 개선하는 새로운 방법은 ChatGPT와 같은 독점 시스템(예: 알파카, 셀프 인스트럭트 등)과 같은 더 강력한 모델의 출력을 기반으로 모델을 미세 조정하는 것입니다. 이 접근 방식은 약한 오픈 소스 모델을 사용하여 독점 모델의 기능을 저렴하게 모방하는 것입니다. 이 연구에서는 이러한 접근 방식을 비판적으로 분석합니다. 먼저 다양한 기본 모델 크기(15억~13억), 데이터 소스, 모방 데이터 양(0.3억~1.5억 토큰)을 사용하여 ChatGPT를 모방하는 일련의 LM을 미세 조정합니다. 그런 다음 크라우드 레이터와 표준 NLP 벤치마크를 사용하여 모델을 평가합니다. 처음에는 모방 모델의 출력 품질에 놀랐습니다. 모방 모델이 지시를 훨씬 더 잘 따르는 것으로 나타났고, 크라우드 워커들은 모방 모델이 ChatGPT와 경쟁력이 있다고 평가했습니다. 그러나 보다 타겟화된 자동 평가를 수행했을 때, 모방 데이터에서 크게 지원되지 않는 작업에서 모방 모델이 기본 LM과 ChatGPT의 격차를 거의 좁히지 못한다는 사실을 발견했습니다. 이러한 성능 차이는 모방 모델이 ChatGPT의 스타일을 모방하는 데는 능숙하지만 사실성을 모방하는 데는 능숙하지 않기 때문에 인간 평가자를 지나칠 수 있음을 보여줍니다. 결론적으로 모델 모방은 잘못된 약속이며, 현재 방법으로는 감당하기 힘든 양의 모방 데이터를 사용하거나 더 뛰어난 성능의 기본 LM을 사용해야만 좁힐 수 있는 개방형 LM과 폐쇄형 LM 사이에는 상당한 성능 격차가 존재한다는 결론을 내립니다. 결국, 오픈 소스 모델을 개선하기 위한 가장 효과적인 방법은 독점 시스템을 모방하는 지름길을 택하는 것이 아니라 더 나은 기본 LM을 개발하는 어려운 과제를 해결하는 것이라고 주장합니다.