ChatGPT 이후 이 놀라운 기술 자본 가속화가 시작되었습니다. 정확히 1년 전 오늘, Nvidia는 첫 번째 블록버스터 실적 발표를 가졌습니다 . 몇 시간 후에는 25%나 올랐고 모두가 "맙소사, AI는 대단해"라고 말했습니다. 1년 안에 Nvidia 데이터 센터 수익은 분기당 수십억 달러에서 분기당 250억 달러로 증가했으며 계속해서 증가하고 있습니다. Big Tech 투자가 급증하고 있습니다.

재미있다. 이 미친 쟁탈전이 진행되고 있지만 어떤 의미에서는 그래프에서 직선의 연속일 뿐입니다. 가장 큰 AI 시스템에 대한 훈련 컴퓨팅의 거의 10년에 대한 장기적인 추세가 약 10배, 즉 연간 0.5OOM씩 증가하고 있습니다.

그냥 앞으로 플레이하세요. GPT-4는 2022년에 사전 훈련을 마친 것으로 알려졌습니다 . SemiAnalytic 에서는 클러스터 크기가 약 25,000개의 A100 이라는 소문이 돌았습니다 . 대략 5억 달러 규모의 클러스터입니다. 대략적으로 10메가와트입니다.

앞으로 반년만 플레이하세요. 2024년까지 이는 수십억 달러의 비용이 드는 100MW 및 100,000개의 H100 등가물을 갖춘 클러스터가 됩니다.

2년 더 앞으로 플레이하세요. 2026년이면 이는 1기가와트에 달하며, 이는 대형 원자로 크기에 해당합니다. 후버댐의 힘과 같습니다. 이는 수백억 달러의 비용이 들고 백만 개의 H100 등가물이 필요합니다.

2028년에는 10GW에 달하는 클러스터가 됩니다. 이는 대부분의 미국 주보다 더 많은 권한을 갖고 있습니다. 그것은 천만 H100 상당이며, 수천억 달러의 비용이 듭니다.

2030년까지 미국 전기 생산량의 20% 이상인 100기가와트를 사용하는 1조 달러 규모의 클러스터를 확보하게 됩니다. 그것은 1억 H100 상당입니다.

그것은 단지 훈련 클러스터입니다. 더 많은 추론 GPU도 있습니다 . 일단 제품이 나오면 대부분은 추론 GPU가 될 것입니다. 미국의 전력 생산량은 수십 년 동안 거의 증가하지 않았습니다 . 이제 우리는 정말로 차를 타고 있습니다













드와르케시 파텔 00:06:55

물론, 이 모든 것을 가정해 봅시다. 앞으로 몇 년 안에 무슨 일이 일어날까요? 1GW 데이터센터에서 훈련된 AI는 무엇을 할 수 있나요? 10GW 데이터 센터에 있는 데이터 센터는 어떻습니까? 앞으로 몇 년간의 AI 발전을 계획해 보세요.

레오폴드 아센브레너 00:07:11

10GW 범위는 진정한 AGI를 얻을 수 있는 최적의 추측입니다 . 컴퓨팅은 실제로 과대평가되었습니다. 그것에 대해 이야기하겠습니다.

2025~2026년까지 우리는 대부분의 대학 졸업자보다 기본적으로 더 똑똑한 모델을 갖게 될 것입니다. 많은 경제적 유용성은 절름발이를 제거하는 데 달려 있습니다. 모델은 똑똑하지만 제한적입니다. 챗봇이 있고 컴퓨터를 사용할 수 있고 에이전트와 같은 장거리 작업을 수행하는 등의 기능이 있습니다.

2027~2028년에는 가장 똑똑한 전문가만큼 똑똑해질 것입니다. 흔들리지 않는 궤적은 챗봇이라기보다는 에이전트에 훨씬 더 가까워지고 있음을 나타냅니다. 거의 원격 근무자와 비슷할 것입니다.

이것은 경제적 수익에 관한 질문입니다. 중급 AI 시스템은 정말 유용할 수 있지만 이를 통합하려면 많은 노력이 필요합니다. 비즈니스 사용 사례에서 GPT-4 또는 GPT-4.5로 할 수 있는 일이 많지만 실제로 워크플로를 유용하게 변경해야 합니다.







저거 보니까 발전 속도 미치긴 했다