모델이 커질수록 inference에 필요한 연산량과 성능이 너무 빠른 속도로 증가하고 있음


특히 reasoning 모델들은 CoT 과정에서 토큰을 엄청나게 소모하고 있고

트랜스포머 구조는 결국 길이 제곱에 비례해서 느려지니 희소식은 아니지


Sparse attention이라든지 라마에서 쓴 Chunked attention이라든지 하여간 아키텍처적인 최적화가 계속되고 있지만

기본적으로 GPT-5급 모델에 사람들이 기대하는 수행능력이 있기 때문에 그거 최적화하겠다고 트레이드오프하는 데 한계가 있고 


스윗스팟을 찾고 그걸 서빙하기 위한 최적의 하드웨어 및 인프라가 셋업이 되어야 대규모 서비스를 시작할 수 있기 때문에

지금으로썬 설령 GPT-5가 이미 학습되어 있다고 하더라도 한달 2천불짜리 요금제 낼 거 아니면 못 내놓을 거라고 봄

스타게이트를 왜 짓고 있겠어


학습의 문제가 아니라 실행의 문제라고 했다는데 그 실행에는 이런 것들 준비가 포함되어 있겠지