빌 게이츠 기사에서 댓글단 거 번역해 옴
GPT-2에서 GPT-3으로 100배가 조금 넘었고, 물론 약 10배(GPT-3의 경우 1,750억 개의 파라미터에서 GPT-4의 경우 1.7T로 추정)로 확장하는 것은 그다지 인상적이지는 않지만 창의성, 추론 및 이와 같은 매우 유용한 일반적인 개선이 크게 향상되는 것을 볼 수 있었습니다. 하지만 인간의 시냅스와 동일한 수의 매개변수를 가진 모델을 100T와 같은 규모에 적용했을 때 어떤 결과가 나올지 궁금합니다. 그리고 그 너머도 궁금합니다.
개인적으로 스케일링에서 얻을 수 있는 것이 아직 많다고 생각합니다.
나는 단순히 매개변수 늘어나는거보다 멀티모달이 더 기대됨... 이미지, 오디오, 비디오, 텍스트 입출력 다되는 찐멀티모달로 만들면 엄청날듯'
내 생각에 저렇게 파라메터수 늘리려면 굉장한 양의 데이터셋이 필요하겠는데, 이걸 멀티모달아키텍처로 이미지 오디오 비디오 텍스트 다 짬뽕시켜 학습시켜야 최대 효율로 로스 감소할거같고, 그게 AGI로 가는 길이 아닌가 함 - dc App
멀티모달이 소화해낼 수 있는 음식의 종류라면, 파라미터는 소화해내는 능력이라고 생각됨. 그래서 개인적으론 스케일 키우는 것에 더 기대하는 중. 그리고 일단 언어모델이 지금 관심 받는 것도 스케일 키우면서 없던 능력이 생겨나서 그런거라, 스케일을 더 키우면 어떻게 될까? 인간만큼 키우면 정말 인간 수준으로 사고하는 능력도 나타날까? 같은 기대를 받는 중이라서.
스케일 = 지능인데 이래도 안해? 독하다 독해