아래글 보고 다시 글 씀. 우선 반박.

1) gato가 gpt3보다 뛰어난 적이 없음. 정확히 말하면 "뛰어나다"를 정의할 수 없음. gato는 멀티테스크 모델이고 gpt3는 언어모델인데 언어적인 능력은 gpt3가 당연히 압도적으로 뛰어남.

2) 파라미터 수를 줄이는게 유리하다고 한 적 없음. 더 적은 파라미터로도 동일한 성능을 내는 (=효율이 좋은) 아키텍쳐를 만들기 위해 연구할 뿐임.

3) 뜬금없이 연산능력을 언급하는데 연산능력은 정확히 뭘 말하는지도 모르겠음.

그리고 논쟁이 있던데 파라미터의 정확한 정의는 학습, 즉 backpropagation->gradient descent에서 변하는 변수들임. 학습 과정에서 변하지 않는 변수는 하이퍼파라미터라고 함.

그리고 스케일 관련. 특정 딥러닝 모델의 스케일을 늘리는 경우를 크게 나누면 너비를 늘리는 경우와 층을 늘리는 경우가 있음. 두 경우 모두 파라미터 수가 증가함. 따라서 파라미터 수가 증가할수록 스케일이 커진다고 봐도 무방함. "스케일이 중요하다"고 하는 것의 맥락은, 아키텍쳐를 크게 변경하지 않고도 오직 너비나 층만 늘려도 성능이 늘어난다는 뜻임. 이 사실이 상당히 놀라운 이유는 통상적으로는 스케일이 너무 크면 과적합이 발생해서 성능을 올리는데 한계가 있기 때문임. Transformer 자체가 과적합이 잘 안나기 때문에 데이터만 충분히 많다면 스케일만 올려도 성능이 계속 올라감. Transformer 기반 언어모델들이 파라미터 수의
단위 자체가 다른 (100B 이상) 이유는 이것임.