스케일링은 하드웨어적인 발전이 필수인데 이건 애초에 발전속도에 한계가 있고 로드맵이 고정되어있음
반면에 딥러닝모델은 역사적으로 항상 어떤 천재새끼들이 갑자기 튀어나와서 상상도 못했던 혁신을 이뤄냄. cnn부터 해서 rnn lstm gru에 transformer까지
난 '스케일만으론 부족하다'가 사실이라고 해도 딥러닝의 미래가 비관적이진 않다고 봄
지금은 상상조차 못한 새로운 방법론을 갖고나와서 현 딥러닝 아키텍처의 근본적인 문제들을 해결해 나갈거라고 믿음
AGI 나오기 전에 알고리즘 혁신 최소 한번은 더 있을듯
근데 그 개쩌는 아키텍처가 실제로 혁신인지 아닌지 판단할려고 해도 스케일이 필요함. 인공신경망은 20세기부터 연구되었지만 빛을 보게 된 건 2012년부터지. 트랜스포머도 대형모델로 이것저것 해보면서 아키텍처의 강점과 약점을 파악할 수 있는거지. 스케일링이면 된다는 말 속에는 단지 양적 규모만 키우면 된다는 것이 아니라 규모를 키우면서 마주치게 될 기술적 우여곡절과 개선, 효과를 극대화한 새 아키텍처의 등장까지 포함하는 거라고 생각함.