GPT3의 매개변수는 1750억개이다.


인간의 시냅스는 10조 ~ 100조개 정도로 추정한다.


GPT3를 봐도 1/100~1/1000 붕어수준이다.


그리고 최적화도 인간만 못하다.


그런 GPT3의 성능이 이 정도이다.


그리고 적은 매개변수 높은 최적화 모델들이 지금 수준의 기술을 보여주고 있다.


장기기억은 단순히 스케일 문제일 가능성이 크다. 붕어수준의 뇌로 이 정도의 성능을 발휘하려니 장기기억이 불가능한거다.


보통 셀프티칭은 의식이 있어야 하고 의식이 있는 동물은 영장류에 한정된다.


즉 영장류 수준의 최적화된 시냅스가 없다면 의식이 발생하지 못할 가능성이 높다는 것이다.


지금의 장기기억 셀프티칭의 문제는 스케일과 최적화의 문제일 가능성이 높다.


꼭 모든 것을 이해해야 만드는 것은 아니다. 그 말대로라면 인간은 인간보다 뛰어난 AI를 만들 수 없으며 이것이 선형충의 논리이다.


단순히 스케일 최적화 만으로 인간이 이해할 수 없어도 인간보다 뛰어난 AI가 나올 것이라 의심하지 않는다.


이제 AI을 위한 하드웨어가 급격히 발전하고 있다. 2025년이면 인간 수준의 스케일을 가진 AI가 나올 것이다. 이때가 AGI의 시작이 될 것이다.