https://bounded-regret.ghost.io/what-will-gpt-2030-look-like/


GPT2030은 코딩, 해킹, 수학, 잠재적으로 단백질 설계를 포함한 다양한 특정 작업에서 초인적인 능력을 발휘할 가능성이 높습니다(섹션 1).
GPT2030은 빠르게 '작동'하고 '사고'할 수 있습니다: 분당 처리 단어 수[범위: 0.5배~20배][3]로 측정할 때 인간보다 5배 빠를 것으로 추정되며, FLOP당 5배를 더 지불하면 125배까지 증가시킬 수 있습니다(섹션 2).


GPT2030은 임의로 복사하여 병렬로 실행할 수 있습니다. GPT2030을 훈련하는 조직은 많은 병렬 복사본을 실행하기에 충분한 컴퓨팅을 보유할 것입니다: 인간의 작업 속도[범위: 0.4백만~1,000만 년]에 맞춰 조정하면 180만 년의 작업을 수행할 수 있을 것으로 추정됩니다(섹션 3). 앞의 5배 속도 향상을 감안하면 이 작업은 2.4개월이면 완료할 수 있습니다.


이제 향후 모델에 대해 동일한 '트레이닝 오버행'(트레이닝 비용 대비 추론 비용의 비율)을 예측해 봅시다. 트레이닝 오버행이 더 커야 하는 이유는 트레이닝 오버행이 데이터 세트 크기에 거의 비례하고 데이터 세트가 시간이 지남에 따라 증가하기 때문입니다. 자연적으로 발생하는 언어 데이터가 부족해짐에 따라 이러한 추세는 둔화되겠지만, 새로운 양식과 합성 또는 자체 생성 데이터는 여전히 이 추세를 앞당길 것입니다.[8] 부록 B에서는 이러한 요소를 자세히 고려하여 2030년까지의 전망을 제시합니다. 2030년의 모델은 인간의 속도에 맞춰 1,800,000년의 작업을 수행할 수 있는 충분한 리소스로 훈련될 것으로 예상합니다[범위: 400k-10M].

GPT2030의 사본은 모델 가중치가 동일하기 때문에 지식을 공유할 수 있어 빠른 병렬 학습이 가능합니다: 하루에 사람으로 환산하면 2,500년 분량의 학습이 가능할 것으로 예상됩니다(섹션 4).

나는 인간의 속도로 병렬 학습하는 모델의 복사본이 최소 100만 개에 달할 수 있음을 시사하는 두 가지 추정치를 제공할 것입니다. 이는 100만 일 = 2500년이므로 인간이 하루에 학습하는 2500년 에 해당합니다 .

GPT2030은 텍스트와 이미지 외에도 분자 구조, 네트워크 트래픽, 저수준 머신 코드, 천체 이미지, 뇌 스캔과 같은 직관적이지 않은 양식을 포함한 추가 양식에 대해 학습할 수 있습니다. 따라서 우리가 가지고 있지 않은 개념을 형성하는 등 경험이 제한적인 영역에 대한 직관적인 이해력이 뛰어날 수 있습니다(섹션 5)