삼하애들 몇년간 성과급계속 잘나오겠누







뉴스레터 · 2026년 5월 25일 · Epoch AI
컴퓨트 크런치가 오고 있는가?
우리는 전 세계 추론 용량의 추세를 추정했고, 토큰 수요가 공급보다 훨씬 빠르게 늘고 있는 듯하다는 결론을 얻었다.
저자: Luke Emberson, Jaime Sevilla
원문: Epoch AI
지난 1년 동안 AI가 이끄는 설비투자에 관해 많은 말이 오갔다. 하이퍼스케일러들은 거대한 데이터센터를 짓기 위해 앞다투어 움직였고, 그 과정에서 수천억 달러를 쓰고 있다. 세인트루이스 연준은 AI 관련 투자가 2025년 1~3분기 미국 실질 GDP 성장에 약 1%포인트, 전체의 거의 40%를 기여했다고 추정한다. 이는 닷컴 버.블 정점기의 IT 투자 기여도를 넘어선다. 지금의 AI 인프라 구축이 거.품인지 아닌지는, 결국 건설 중인 컴퓨팅 인프라를 충분히 흡수할 수요가 있느냐에 크게 달려 있다.
미래의 토큰 수요를 추정하는 일은 어렵다. 역량 발전과 확산 속도처럼 예측하기 힘든 추세에 크게 좌우되기 때문이다. 하지만 공급 쪽은 훨씬 더 구체적으로 볼 수 있다. 이 글에서 우리는 지금 보유한 칩으로 전 세계가 초당 몇 개의 토큰을 생산할 수 있는지에 최대한 답해 보려 한다.
이를 위해 추론의 기술적 세부 사항을 파고든다. 프리필과 디코드 실행 시간을 모델링하고, 두 가지 흔한 효율화 기법인 청크드 프리필과 투기적 디코딩을 반영하며, 실제 추론 실험 저장소인 SemiAnalysis의 InferenceX 데이터에 맞춰 보정한다. 그 결과, 2025년 4분기 기준 Kimi v2.6과 유사한 모델에서 이 칩들은 요청의 컨텍스트 길이에 따라 초당 5억~200억 개의 출력 토큰을 제공할 수 있는 것으로 보인다. 또한 더 많은 컴퓨팅 인프라가 배치되고 칩 효율이 올라가면서, 전 세계 추론 용량은 매년 3배 이상 증가하고 있다는 점도 확인했다.
우리는 이 공급 추정치를 토큰 수요와 그 성장 추세에 대한 여러 불완전한 대리 지표와 비교한다. 여기에는 구글 플랫폼 전체에서 제공된 토큰의 증가율, 그리고 현재 대형 기술기업에서 가장 강도 높게 토큰을 쓰는 방식이 전 세계 소프트웨어 엔지니어에게 확장된다고 가정한 값이 포함된다. 이 수치들은 현재 가격에서의 수요가 초당 2억~40억 토큰 사이일 수 있고, 연간 약 10배 속도로 증가할 수 있음을 시사한다. 이는 가까운 미래에, 어쩌면 이미, 공급 증가를 앞지를 가능성이 있다. 다만 이 추정치에는 큰 불확실성이 있다. 우선 현재 수요 뒤에 있는 모델들의 평균 크기를 알 수 없다. 또한 총 토큰 수치는 모델 효율의 기저 추세를 가린다. 효율 향상은 같은 품질의 토큰 생산 비용을 낮추는 동시에, 더 많은 활용 사례가 비용 효율적이 되면서 새로운 수요를 만든다.
이 추세가 이어진다면 컴퓨트 크런치는 가까워 보인다. 특히 에이전트형 AI를 밀어붙이는 긴 컨텍스트 작업에서 그렇다. 지불 의향이 있는 사람에게는 최전선 역량 접근 가격이 올라가고, 일상 사용자들은 더 싸고 작은 모델로 이동할 것이다. AI 기업들이 모델을 더 효율적으로 제공하는 방법에 더 집중하게 될 수도 있다. 다만 효율 향상 덕분에 이런 변화가 일상 사용자가 접근할 수 있는 역량의 후퇴를 반드시 뜻하지는 않는다. 추론 및 학습 효율은 이미 충분히 빠르게 개선되고 있어, 내일의 작고 저렴한 모델이 오늘의 최전선 수준을 빠르게 따라잡을 수 있기 때문이다.
중략: 공급 추정 이론 모델

원문은 여기서 Kimi K2.6을 전 세계 GB200·GB300 Blackwell 칩 위에서 제공한다고 가정하고, 프리필·디코드·청크드 프리필·투기적 디코딩·InferenceX 보정을 통해 “현재 칩으로 공급 가능한 출력 토큰 수”를 계산한다. 이 부분은 수요 추정이 아니라 추론 공급 용량 추정이며, 결론부에서 수요 proxy와 비교된다.

추론의 현재와 미래
최종 추정치에 따르면 전 세계 Blackwell GPU는 현재 합산 기준 초당 5억~200억 출력 토큰을 제공할 수 있다. 지구상의 모든 사람에게 매달 15만~700만 토큰을 제공할 수 있는 셈이다. 맥락을 위해 보자면, 오늘날 구글은 Google Search 요약 등을 통해 가장 열성적인 토큰 생산자일 가능성이 큰데, 최근 자사 플랫폼 전체에서 초당 12억 토큰을 제공하고 있다고 밝혔다. 이는 입력과 출력 토큰을 모두 포함했을 가능성이 높다. 입력 대 출력 비율을 8,000:1,000으로 가정하면, 이는 초당 약 1억 3천만 출력 토큰을 제공하는 것이다. 따라서 모든 구글 요청을 비싼 1조 파라미터 모델로 매우 후하게 처리한다고 우겨도, 사용자들의 필요를 감당할 추론 용량은 충분히 많아 보인다.
사실 구글뿐 아니라 전 세계의 모든 토큰을 제공하기에도 충분할 수 있다. Exponential View는 모든 제공자를 통틀어 처리된 총 토큰을 분기당 4경 개, 즉 초당 약 50억 토큰으로 추정한다. 이는 구글 트래픽의 40배다. 짧은 및 중간 컨텍스트 설정에서는 이 모든 토큰을 Kimi v2.6과 유사한 모델로 처리할 컴퓨팅 용량이 여전히 충분할 것이다.
그리고 인프라 배치와 더 효율적인 칩이 결합되면서 추론 용량은 시간이 지남에 따라 커진다. 추적해야 할 두 가지 관련 추세는 계산 용량의 성장과 메모리 대역폭의 성장이다. 각각 연간 3.4배와 4.1배의 지수 속도로 증가하고 있다. 장기적으로는 더 느리게 증가하는 요인이 전체 추론 용량 증가를 결정한다. 여기서는 계산이다. 단기적으로는 메모리 대역폭이 주 병목으로 남아 있는 동안 성장률이 4.1배/년에 더 가까울 수 있다. 이는 특히 소프트웨어 엔지니어링처럼 긴 컨텍스트 요청에 영향을 준다. 그런 요청은 메모리 병목이 더 깊기 때문이다. 실제로 짧은 컨텍스트, 즉 8,000:1,000 입력-출력과 긴 컨텍스트, 즉 128,000:1,000 추론 부하의 성장을 모델링하면 차이는 작다. 고정된 모델 크기와 컨텍스트 길이에서 전 세계 추론 용량은 연간 3.4배 성장으로 잘 모델링된다.

그럼에도 이 대리 지표들은 고정 모델 크기와 가격에서의 수요가 매우 빠르게, 아마도 공급보다 빠르게 증가하고 있음을 시사한다. 그리고 이 현상은 특히 코딩과 다른 에이전트형 사용 사례 때문에 긴 컨텍스트 사용으로 향하는 추세와 결합되어 더 강해진다.
AI 수요가 대형 모델을 제공할 수 있는 용량을 앞지른다면 예측 가능한 결과는 대형 모델 토큰 가격의 상승이다. 이는 “컴퓨트 크런치”가 가까워졌거나 이미 도래했을 수 있음을 시사한다. 실제로 Anthropic은 피크 시간대 할당량을 줄이고 오프타임 사용을 유도하는 등 수요를 관리하기 위한 조치를 취해 왔다.