상기의 앤드류 응과

일론머스크등의 생각인
agi는 인간의 뇌 구조와 동일하게 만들어야한다는 발언으로 추측해 볼때

agi는 인간의 뇌 구조와 비슷하거나 동일하게 만들어야한다.

인간의 뇌 신경망은 100조개이다.

2023년 gpt4가 나오기전
gpt4의 파라미터가 100조개라는 추측글이 있었으나..

기술은 지수적으로 발전하기 때문에
gpt1은 2000만개이하
gpt2는 15억개
gpt3는 1750억개라는 파라미터로 진화해 왔다

그럼 gpt4는 gpt3의 파라미터 제곱인 300조였을까..?
아니다
MOE구조를 도입한 2200억개의 8개의 모델이다.
정확히 공개하진 않았지만
1조 7000억개의 파라미터라 추정한다

기존의 지수적 파라미터보다 200분의 1의 파라미터를 가지게 된것이다.
결과적으로 500배의 파라미터차이인 gpt4의 성능과 gpt3의 성능 비교는

약 8배~ 10배로 추정한다 (뇌피셜)
즉 파라미터의 개수로도 성능이 증가하지만
멀티 모달과 MoE등 구조의 진보로도
지수적 기술 발전이 이루어진다고 볼 수 있을 것 같다.

또한 올해 발표한 자료인

유일신 알트만의 근들근들갑과

agi의 중요한 부분이 될것이라고 예측한
AlphaGeometry의 오픈소스 개발로
gpt3 가 1750억개의 파라미터의 성능
gpt4 가 1조 7000억개의 파라미터와 gpt3의 10배의 성능
및

MMLU의 16.4％향상

결론적으로 2024년에
gpt5가 gpt4의 10배의 성능을 보여줄것이라는 것과 MMLU의 10%이상의 향상은 의심할 여지가 없는 것같다.

하지만 진정한 agi의 달성인 현실세계와 agi의 결함은 아직 2024년에는 미지수인 부분이 많아 차후에 기술하도록 하겠다.

- 귀여운슬라임이