일단 모델크기를 늘려놔도


학습에 들어갈 질좋은 데이터셋

필요한 막대한 연산량 (하드웨어)

거기에 따라오는 전력량

이 3가지가 필수인데


아직까지는 gpt4를 오버하는 모델크기를 감당할 수 있는 자원이 없다고 판단하고

발전소가 다 지어지고, 하드웨어가 무르익을 때 까지 물리적인 시간이 필요하니까

그 시간이 지나가는 동안


최적화 하는데 집중해서 모델크기 줄이고

추론 모델 만들어서 부족한 데이터셋 채워넣고

하면서 시간을 보내기로 한 것 같음


알트만이 방법은 이미 모두 알고있다는 식으로 계속 얘기해온것도

저런 맥락 아니었나 싶은데


결국 데이터셋 하드웨어 전기 다 갖춰졌다고 판단한 순간
진짜 원기옥 모아서 초초 거대모델 하나 만들것 같음