GPT = G(generative) P(pre-trained) T(transformer)


말하자면 엄청 쩌는 다음 문장 예측기계라 보면됨



당연히 파라미터 갯수와 인간 시냅스 갯수가 대등해지고 있다고 해서 AGI가 곧 등장한다는 의미는 아님





인간의 뉴런을 연결한 시냅스가 100조개 정도 되는데 현재 가장 유명하고 큰 모델인 gpt4가 1조개 정도됨



수치상으로는 쥐보다 꽤 많은정도임



하지만 인간의 시냅스는 파라미터보다 훨씬 더 효율적이라는것이 밝혀짐



전에도 여기 갤에 논문이 소개된적이 있었는데 몇몇은 기억이 날지도 모르겠다



인간의 시냅스 1개를 시뮬레이션하려면 1000개의 파라미터가 필요하다는 연구결과가 나온바 있음



인간의 뇌가 기계학습보다 효율이 1000배 더 좋다는뜻임



파라미터 수가 증가하면 계속 더 똑똑해지겠지만 인간의 뇌만큼 더 똑똑해지려면 현존하는 수율로는 X 1000을 더 해야됨



인간 뇌 시냅스 수인 100조개를 달성해도 안된다는거임 현존 기계학습 효율로는



100조 x 1000 = 10경. 10경 파라미터를 달성하던가 아니면 100조 파라미터로 가되 학습 효율을 1000배 더 올리던가 해야됨



여기 몇몇 순진한 급진특붕이 말대로 단순히 파라미터 숫자로만 본다면 인간수준 인공지능은 2~3년이면 달성 가능하고, 심지어 지금도 돈만 들이부으면 100조개 매개변수는 달성 가능하겠지.



중국에는 이미 100조개 모델이 존재한다는 찌라시도 있음. 얘네가 공개 안해서 문제지.



그래서 내가 하고 싶은 이야기는 매개변수 숫자가 중요하지 않다가 아니라 규모는 필수중에 하나지만 전부는 아니라는거임



규모는 당연한거고 현존 기계학습 패러다임을 한 차원 더 끌어올리는 뭔가가 있어야 된다는거임.



최근에 알트만도 인터뷰에서 말했음, 대규모 언어모델의 시대는 끝났다고, 더 이상의 스케일 향상은 투자비용 대비 성능이 ㅈ도 안나와서 다른 방향으로 틀겠다고.



예를들어 알파고나 트랜스포머 아키텍처가 처음공개됐을때의 그런 혁신 말이지.