출처 : https://windowsontheory.org/2022/06/27/injecting-some-numbers-into-the-agi-debate/


보면 좋은 글이지만 번역이 이상해서도 있고 글 자체도 이해하기 어려운 부분이 있음


정리하면


가정 1


친칠라 논문에 따르면 "모델 사이즈가 2배로 증가할 때마다 트레이닝 토큰의 수도 2배로 증가해야 한다."


즉 모델을 X배 늘리기 위해서는 비용은 X^2배 라는 뜻


가정 2


규모만으로 충분하다면 GPT3의 매개변수가 1650만개 그리고 인간 수준이 되기 위해서는 최소한 10조개 정도가 필요

GPT3의 훈련비용은 차이가 있지만 50억에서 200억 사이라고 알려져 있다.


가정 3


현 기술로 AGI에 해당하는 최소한의 10조 파라미터의 AI를 구현하기 위해서는 60배로 사이즈업을 해야하고 그렇다면 비용은 3600배


그렇다면 훈련비용은 최소 50억을 잡았을 때 18조가 필요하다.


결론


즉 현 기술로 10조 파라미터의 AI를 만들기 위해서는 최소한 18조 이상이 필요하다.


만약 100조 (인간수준의 시냅스)를 필요로 한다면 1800조 이상이 필요하다.


보니까 선형의 논리는 '만약 규모만으로 충분하다고 하더라도 AGI가 불가능한 이유는 돈이다.' 라고 말하는 것 같다.


그래서 GPT4가 적은 파라미터로 더 높은 결과를 보여주는 것이 중요한 것 같다.


그리고 하사비스가 규모가 중요하지만 더 큰 혁신이 필요하다는 뜻이 학습 방법의 개선 및 효율화을 통한 비용 절감을 의미하는 것 같다.


물론 하드웨어가 발전하면 좋겠지만 현 상황에서 학습속도가 아닌 학습 비용은 크게 개선되지 못하는게 슬프다.