2020년 1750억 파라미터 GPT-3의 비용이 약 50억원

현재 기술로 1000조 파라미터 GPT-4를 만드려면 대략 3조원이 든다고 추측할 수 있다.

아무리 마이크로소프트와 일론 머스크가 돈이 많다고 해도 프로그램 하나에 이 돈을 부을 수는 없다.

그러나 16개월 마다 뉴런 네트워크 학습 효율이 두 배씩 향상된다는 현 추세를 적용하면

2024년에는 3500억

2028년에는 450억

2032년에는 55억으로 학습이 가능해진다.

꼭 16개월이 아니라 24개월, 36개월로 해도 가격은 빠르게 하락하게 된다.

시간이 지날 수록 AI 분야의 투자금이 높아질 것을 생각해보면

비용이 몇 천억 수준만 되어도 GPT-4는 나올 수 있지 않을까 싶다.