현재 빅테크들이 줄줄이 더 고성능 모델은 내놓지 않고 자꾸만 경량화 모델만 내놓는 부분에 특붕이들의 상심이 깊은 걸로 안다


물론 시장성확보는 캐쉬카우를 확보하여 롱런할 수 있는 기초체력확보 같이 반드시 병행되어야 하는 스텝임은 틀림없다.


하지만 경량화가 단순히 비용을 낮춰서 시장성을 확보하는 것뿐만이 목적이라고 생각하는건 조금 단편적인 시각이다.


스케일링에 역행하는 경량화가 오히려 결과적으로 성능향상을 달성하는 몇가지 시나리오가 있다.




1. 구글에서 내놓은 반복샘플링 기법


- 이 방법에 따르면 단순히 고성능의 모델에서 1번의 대답을 생성하는 것보다 저성능 모델에서 여러번의 대답을 생성한 게 정확도가 높았다고 한다. 인간으로 치면 번뜩 떠오른 아이디어는 보통 똥이지만 계속 아이디어를 떠올리다보면 한번쯤은 정답도 떠오르는 것과 비슷하다. 

- 대신 이 방법을 쓰려면 그래서 무수한 대답 중에 진짜 정답이 무엇인지 검증할 수 있는 방법이 필요할 것이다. 검증 자동화만 완성되면 이 방법을 통해 경량화가 스케일링보다 더 나은 성능향상 전략을 가질 수 있다.

- 초거대 모델이 1번의 추론을 하는 것이 경량화 모델이 10번 추론하는 것보다 비용이 비싸다면, 그런데 동시에 경량화 모델이 10번 추론을 행해서 정답을 고르는게 초거대 모델이 한번에 답을 내는 것보다 정확도가 높게 나온다면, 결과적으로 경량화모델로 10번 추론을 하는 편이 이득일 것이다.




2. mind 기법


- 이것도 1번과 비슷한 맥락이긴 한데, 최근 올라온 논문 중에, 유저에게 곧바로 대답을 출력해주는 방식 대신에 비공개로 먼저 자기가 문장을 생성해서 내면에서 사고의흐름(CoT)를 수행한 후에 도출된 정답을 유저에게 공개하는 식으로 정확도를 올린 사례가 있다. 이는 인간이 내면(mind)에서 생각을 하는 단계를 모방한 것이다.

- 그런데 이렇게 내적사고를 하는 방식은 그만큼 답변이 나올 때까지 드는 시간과 비용이 커지게 된다. 이걸 초거대모델에게 시키면 결론적으로는 '더 똑똑하지만 느릿느릿 사고하는' 셈이 될텐데, 경량화모델이라면 '살짝 멍청하지만 빠릿빠릿 사고'를 하는 셈이다. 만약 더 똑똑한 것보다 빠릿빠릿하게 많은 사고를 반복해보는 게 결과적으로 좋은 정답을 도출해낼 수 있다면, 경량화모델로 더 많은 생각을 빠르게 돌리도록 하는 편이 더 나은 전략이 될 수 있다.




3. 앙상블 기법


- 이것은 이미 GPT4 이후에는 MoE로 모두가 사용하고 있는 방식이다. 그런데 GPT4는 겨우 8개의 전문가 모델이 있을 뿐이었다면 최근 논문 중에 이를 수백만까지 늘릴 수 있는 연구도 발표가 되었다.

- 그렇다면 똑똑한 8명의 전문가가 아니라 일반인 수준의 사고력을 지닌 100만명이 형성하는 집단지성이 더 정답률이 높아질 수도 있다. 인간의 경우에도 개인 하나 하나는 자신의 사상과 경험에 의해 편향된 대답을 하지만 이를 전부 모아보면 결국 정답에 가까운 결과로 수렴한다는 연구결과가 있다. 

- 자꾸 같은 말을 반복하게 되지만 이렇게 '전문가의 수'를 스케일링 하기 위해서는 단일 모델은 오히려 경량화를 시켜야 할텐데, 소수의 거대 모델을 쓰는 것보다 다수의 경량화 모델을 쓰는 게 만약 더 나은 결과를 준다면 역시 이번에도 경량화 모델이 더 나은 전략이 될 수도 있다.




4. 분업


- AI 에이전트들에게 협업을 시키는 연구가 최근에 많이 이루어지고 있다. 그런데 어차피 협업을 시킬거라면, 복잡한 하나의 지적업무를 단순한 여러개의 업무로 쪼갤 수 있다면 과도하게 똑똑한 모델은 필요가 없을 수도 있다.

- 각 단순 업무 별로 파인튜닝시켜서 경량화 모델 만으로도 충분한 성능이 나온다면 매우 똑똑한 단일 모델로 한번에 복잡한 업무를 전부 수행시키는 것보다 여러개의 경량화 모델이 여러개의 단순한 업무를 수행하는 편이 더 나은 전략이 될 수도 있다.

- 이는 고전적으로는 복잡한 제품을 만들기 위해 한명의 장인이 필요했지만 산업화 이후에는 부품별로 분업화를 통해 개인을 초월하는 생산성을 달성한 것과 비슷하게 생각할 수 있다.




당장 떠오르는 건 위의 네 가지 정도임. 


물론 이 모든 건 나의 희망사항이기 때문에 위 시나리오들은 결과적으로는 단일 모델에 밀릴지도 모름.


그러나 위에서 언급한 방법론들은 실제로 지금 다 연구되고 있는 방향들이고


내가 말하고 싶은건 초거대 단일 모델만이 정답이라고 집착할 이유는 없다는 거임


초지능이 어떤 형태로 등장할지는 아무도 모름