[📪정보] 언어모델의 사용 비용을 낮출 수 있는 논문이 나옴

[익명(asdf045)]

GPT-4와 같은 대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 성능을 보여 왔지만, 이러한 강력한 성능은 종종 유료 API 서비스 사용에 따른 높은 비용과 함께 제공됩니다. 이 백서에서는 특히 추론(예: 수학적, 인과적) 작업을 수행하기 위해 LLM을 사용하는 데 드는 비용을 절감하기 위해 LLM 캐스케이드를 구축하는 방법을 연구하고자 합니다. 캐스케이드 파이프라인은 간단한 질문은 약하지만 더 저렴한 LLM으로 해결할 수 있는 반면, 어려운 질문에만 더 강력하고 더 비싼 LLM이 필요하다는 직관에 따른 것입니다. 이러한 의사 결정을 실현하기 위해 우리는 약한 LLM의 '답변 일관성'을 질문 난이도의 신호로 간주하고 두 가지 사고 표현(즉, 연쇄 사고와 사고 프로그램)을 혼합하여 활용하는 방법을 포함하여 답변 샘플링 및 일관성 확인을 위한 몇 가지 방법을 제안합니다. 6개의 추론 벤치마크 데이터세트에 대한 실험을 통해, 각각 약한 LLM과 강한 LLM인 GPT-3.5-turbo와 GPT-4를 사용하여 제안한 LLM 캐스케이드가 강한 LLM만을 사용하는 것과 비슷한 성능을 달성하면서도 비용은 40%에 불과하다는 것을 입증했습니다.

https://huggingface.co/papers/2310.03094

Paper page - Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning

- dc official App

[익명(99999999999n)]

[익명(kanal)]

발 전 조 아

[익명(58.140)]

2025