딥러닝 초기에 딥러닝은 일시적인 붐이고 곧 한계에 직면할 것이라고 예측하던 사람들에게 보란 듯이 여러 난점을 해결해 나가며, 매일 새로 발표되는 기법과 성능 향상은 일신우일신 하며 그 범위와 깊이가 날로 넓어지고 깊어지고 있고, 이제는 하루에 발표되는 딥러닝의 주요 논문만을 하루종일 읽어도 새로운 논문이 나오는 속도가 읽는 속도를 훨씬 앞지를 정도이다.


불과 10년전만 하더라도 딥러닝 분야의 연구는 책 몇 권 분량으로 정리가 가능했지만, 지금은 딥러닝의 한 기법의 특정 분야의 적용(application)만 survey로 만들더라도 수 십 페이지의 분량이 나온다.


이 경이로운 발전 속도는 최근 기하급수적으로 증가하는 학계의 딥러닝에 대한 관심과 그에 비례한 연구 인력과 비용 투자 덕분일 것이다. 연구의 세계에서도 'Scale is All You Need'는 성립하는 것이다.