[📪정보] 쿼리에 맞춰 실시간으로 LLM 골라 주는 '모델 라우팅' 등장

[익명(landofooo)]

기업의 작업 요청(쿼리)에 맞춰 다수의 대형언어모델(LLM) 중 하나를 실시간으로 골라서 연결해 주는 '모델 라우팅(Model  routing)' 전문 스타트업이 미국에 다수 등장한 것으로 알려졌다. 저비용 고효율을 추구하는 기업 수요에 따른 것으로, LLM이 늘어남에 따라 이를 분석해 주는 작업이 점차 중요해진다는 평가다.

디 인포메이션은 지난 19일(현지시간)  모델 선택 및 라우팅 스타트업이 최근 급속하게 늘어나고 있다며, 이는 기업들이 AI 수요에 얼마나 빠르게 반응하는 지를 보여주는 사례라고 소개했다.

이에 따르면 AI를 도입하는 기업은 'GPT-4'와 같은 최고급 모델을 선호하지만, 이는 비용이 많이 들어간다. 따라서 상당수 기업은 작업 성격에 맞춰 때로는 간단한 오픈 소스 모델을 선호하기도 한다. 

모델 라우팅은 한 모델을 도입해 기업 수요에 맞춰 미세조정하는 'ML옵스(MLOps)'와는 다른 개념이다.

예를 들어 복잡한 추론 작업에는 GPT-4를 사용하고, 간단한 문서 요약은 오픈 소스 모델로 처리하는 식이다. 

이를 가능하게 하는 것이 바로 모델 라우팅이다. 애플리케이션 프로그래밍 인터페이스를 통해 기업의 쿼리를 분류, GPT-4 또는 오픈 소스로 배분하는 방식이다. 이 때문에 네트워크 최적 경로를 선택하는 '라우팅'이라는 용어를 도입했다.

또 오픈 소스 모델의 경우 허깅페이스에만도 30만개 이상이 존재한다. 따라서 어떤 모델이 어떤 특성과 성능을 가졌는지를 평가하는 것이 가장 중요한 포인트로 꼽힌다.

https://www.aitimes.com/news/articleView.html?idxno=153902

쿼리에 맞춰 실시간으로 LLM 골라 주는 '모델 라우팅' 등장

메타적이네... 하긴 hf에 모델이 엄청 많으니