https://twitter.com/DrJimFan/status/1669025412138299392


Jim Fan

NVIDIA 수석 AI 과학자. 스탠포드 PhD. Ex: OpenAI , GoogleAI


오픈 소스 LLM과 최고의 독점 LLM에 대해 제가 생각하는 방식은 다음과 같습니다:


1) 오픈 LLM은 빠른 속도로 개선될 것입니다.


2) 그러나 최고의 상용 모델과의 격차는 계속 *확대*될 것입니다. OSS 커뮤니티는 탈중앙화되어 있고 서로 다른 목표를 추구하지만, 대기업은 단일 모델을 돌보는 데 막대한 GPU와 인재를 집중할 수 있으며, 동시에 OSS로부터 최고의 트릭을 배울 수 있기 때문입니다. GPT, Claudes, DeepMind Gemini는 훨씬 더 빠른 속도로 개선될 것입니다.


저는 OpenAI가 GPT-5를 출시할 때(2024년 말이라고 가정해 보겠습니다) 어떤 OSS 모델이라도 중요한 모든 작업에서 GPT-4와 진정으로 일치할 확률은 5% 미만이라고 생각합니다. 제가 틀렸다는 것이 증명된다면 정말 기쁠 것 같습니다!


3) OSS LLM은 항상 훨씬 더 다양해질 것입니다. 예시를 들어보겠습니다:

- 의료, 법률, 금융 등을 위한 도메인별 모델 - 현지 문화와 언어에 맞는 국가별 모델 - Wizard-7B-Uncensored와 같이 보다 창의적인 사용 사례를 위한 제약 없는 모델.