원래는 딥러닝 모델의 scale을 무지성으로 늘릴 수 없음. 이유는

1) scale을 늘리면 그만큼 많은 데이터가 필요함. 그렇지 않으면 과적합에 걸려서 scale을 올릴수록 오히려 성능이 떨어짐.

2) scale을 늘리면 gradient vanishing (경사소멸) 문제가 발생하기 쉬움. 그래서 너무 늘리면 학습이 제대로 안됨.

3) 컴퓨팅이 힘듬.

근데 현재 위 세가지 문제들이 어느정도 해결되었음.

1) 사람이 직접 라벨링을 할 경우 그정도로 큰 데이터를 제공할 수 없지만, 가령 최근 언어모델들 같은 경우 라벨링이 필요없어지면서 거의 무한에
가깝게 방대한 인터넷 데이터를 쓸 수 있음. 그 외에는 강화학습을 사용할 수 있음.

2) 구조적으로 gradient vanishing을 회피할 수 있는 방법이 많이 개발됨. 대표적으로 skip connection이 있고 transformer도 기존의 rnn 등에 비해 구조적으로 이 문제에 훨씬 자유로움.

3) 이 문제는 완전히 해결되었다고 보기는 애매하나, 컴퓨팅 성능이 과거에 비해 많이 발전하면서 초거대 언어모델 등도 이제 학습시킬 수 있음.
게다가 모델의 시간복잡도 등 컴퓨팅의 효율성 자체도 점점 더 개선되는 중.

scale is all you need 드립이 나온 배경은 위와 같음. 즉, 과거와 달리 컴퓨팅 성능만 따라준다면, scale만 늘려도 성능이 올라가는 상황이 벌어짐.
gpt3의 175B같은 미친 파라미터 수가 가능했던 이유는 이것임. 그래서 파라미터 수만 계속 늘려도 성능이 더더욱 올라가지 않을까 기대하는것임.

파라미터를 175B까지 올렸더니 갑자기 긴글쓰기, 간단한 추론 등까지 잘 하네? 만약 1T까지 올렸을 때 갑자기 수학까지 잘한다면?

일단 현재까지는 그게 깨지지 않음. 그러나 다른 문제가 생겨서 실제로 한계가 있을지는 알 수 없음.