[📪정보] 소형 모델을 혼합하면 gpt3.5를 능가한다는 논문이 나옴

[익명(211.59)]

https://huggingface.co/papers/2401.02994

Paper page - Blending Is All You Need: Cheaper, Better Alternative to  Trillion-Parameters LLM

대화형 AI 연구에서는 ChatGPT와 같은 모델처럼 더 많은 수의 매개변수를 사용하여 모델을 개발하는 경향이 눈에 띄게 나타납니다. 이러한 확장 모델은 점점 더 나은 채팅 응답을 생성하는 경향이 있지만 상당한 컴퓨팅 리소스와 메모리를 요구합니다. 이 연구에서는 다음과 같은 관련 질문을 탐구합니다. 작은 모델을 조합하여 단일 대형 모델과 비교하여 비교할 수 있거나 향상된 성능을 공동으로 달성할 수 있습니까? 여러 채팅 AI를 통합하는 간단하면서도 효과적인 방법인 "블렌딩"이라는 접근 방식을 소개합니다. 우리의 경험적 증거에 따르면 특정 소형 모델이 시너지 효과를 발휘하여 혼합되면 잠재적으로 훨씬 더 큰 모델의 성능을 능가하거나 일치할 수 있습니다. 예를 들어, 적당한 크기(6B/13B 매개변수)의 세 가지 모델만 통합하면 ChatGPT(175B+ 매개변수)와 같은 훨씬 더 큰 모델의 성능 지표와 맞먹거나 심지어 능가할 수 있습니다. 이 가설은 Chai 연구 플랫폼에서 대규모 사용자 기반을 대상으로 A/B 테스트 방법론을 사용하여 30일 동안 엄격하게 테스트되었습니다. 이번 연구 결과는 컴퓨팅 요구의 급증 없이 채팅 AI 효율성을 향상시키기 위한 실행 가능한 접근 방식으로서 "블렌딩" 전략의 잠재력을 강조합니다

[조바이든(hnn12)]

개추

[익명(220.72)]

정보추

[익명(rechido)]