바로 방대한 양의 데이터를 인간의 개입 없이 학습할 수 있다는 점임.

gpt는 다음에 오는 단어를 예측하는 방식으로, 라벨링 없이도 오직 텍스트만 주어지면 학습을 할 수 있었음. (비지도학습) 알다시피 인터넷의 텍스트 데이터는 매우 방대함. gpt3가 175B의 엄청난 파라미터 개수로 학습할수 있었던 이유도, 이러한 학습 시스템 때문임. 아무리 파라미터 수가 많아도 그만큼 데이터가 많지 않으면 과적합이 일어나기 때문에 절대 학습이 제대로 안됨.

알파고는 자가대국을 통해 스스로 데이터를 만들어내면서 엄청난 양의 데이터를 확보하고,그것을 그대로 학습할 수 있었음. (강화학습)

결과적으로 둘 다 혁신적인 성과를 거두었음. Ai 모델의 학습에는 데이터의 양이 매우 중요하고, 인간이 라벨링을 해서 데이터를 만드는건(지도학습) 양적인 측면에서 명백하게 한계가 있음. 게다가 질적인 측면에서도, 데이터에 인간이 개입할 경우 주관이 개입하여 학습에 있어서 비효율을 야기하는 경우가 많음. 따라서 무엇이든간에 인간의 개입없이 방대한 데이터를 학습할 수 있는 시스템을 만드는 것이 매우 중요함.