GPT-3.5가 175b 모델이었고
GPT-4는 공식 발표는 아니지만 1T 수준 모델을 8개 전문가로 나눠서
한 번에는 220b 정도만 활성화된다고 하던데
그 후로는 전혀 소식이 없는 거 같은데 뭐 유출된 정보라도 있음?
최근에 차세대 그록이 6T 모델일거라는 썰 들으니 궁금해지네
GPT-3.5가 175b 모델이었고
GPT-4는 공식 발표는 아니지만 1T 수준 모델을 8개 전문가로 나눠서
한 번에는 220b 정도만 활성화된다고 하던데
그 후로는 전혀 소식이 없는 거 같은데 뭐 유출된 정보라도 있음?
최근에 차세대 그록이 6T 모델일거라는 썰 들으니 궁금해지네
잼3도 크기큰데 몇T인지는 모름 애플에 제공할 제미나이가 1.2T 사이즈라고 하긴함
GPT-4 이후론 스케일링으로 크기만 늘리는건 그만뒀나 보네
구글은 사전학습 스케일링함