아래 글에서는 파라미터와 컴퓨팅 파.워가 완전히 별개인 것처럼 서술하고 있지만 실제로는 좀 다름
gpt1부터 지금까지 컴퓨팅 파.워는 지속적으로 증가했지만 학습시간은 감소하는게 아니라 오히려 늘어나는 추세임
gpt2 학습시간: 10일
gpt3 학습시간: 34일
gpt4 학습시간: 90-100일
증가하는 컴퓨팅 파.워를 스케일 키우는데 때려박고 있기 때문에 오히려 학습시간이 늘어나는 것으로 보임
아래 글에서는 파라미터와 컴퓨팅 파.워가 완전히 별개인 것처럼 서술하고 있지만 실제로는 좀 다름
gpt1부터 지금까지 컴퓨팅 파.워는 지속적으로 증가했지만 학습시간은 감소하는게 아니라 오히려 늘어나는 추세임
gpt2 학습시간: 10일
gpt3 학습시간: 34일
gpt4 학습시간: 90-100일
증가하는 컴퓨팅 파.워를 스케일 키우는데 때려박고 있기 때문에 오히려 학습시간이 늘어나는 것으로 보임
완전 비례할지는 모르지
아모데이와 머스크가 2년 안에 100조 파라미터 모델이 나올거라 예측하고 있고 그걸 실현하기 위해 a100, h100 구입에 조단위로 쏟아붓고 있으니 내년 달성도 가능 하다고 봄
그리고 구글은 이미 수십 엑사플롭스급 컴퓨팅 파.워를 ai개발에 투입할 수 있음
현존 최고 성능 컴퓨터가 1엑사 언저리라고 들었는데 ㄹㅇ???
https://www.aitimes.com/news/articleView.html?idxno=150988
구글은 “새로운 A3 슈퍼컴퓨터가 생성 AI와 대규모 언어 모델의 훈련을 위해 특별히 제작됐다"며 “고객은 최대 26엑사플롭스까지 확장 가능한 슈퍼컴퓨팅 인프라를 대여해 사용할 수 있게 됐다”고 밝혔다. 그리고 지금도 증설하는 중
지금 빅테크 기업들이 ai에 투입하는 자원은 gpt-4 처음 출시될 때와 비교해도 차원이 다름. 내년에는 더 커질 예정이고