[일반] also gpt2는 gpt4 기반은 맞을 거임

[익명(218.157)]

일단 물어보면 gpt4라고 하기도 하고, 무엇보다 영어 단어에서 gpt-4가 습관적으로 사용하는 단어들 그대로 다 계승하고 있음. 경량 모델이라던가 아키텍처 자체가 다른 모델은 아님. 되려 규모가 더 큰 모델일 확률이 높다고 본다

- dc official App

[익명(175.206)]

단어는 학습 데이터가 비슷해서 그럴 수도 있다고 봄. 물어보고 GPT4라고 답 하는 건 의미가 없고. GPT4가 생성한 합성데이터를 학습했을 수도 있고. 그리고, 큰 모델이라면 2라는 네이밍보단 4.5나 5 쪽으로 가는 게 맞지 않나 싶음. 굳이 2라면 다른 접근 때문 아닐가

[익명(218.157)]

학습 데이터 자체가 말도 안되게 방대한데, 특정 단어만 반복되는 것은 데이터 정제 방식이 동일해서 그럼. 특정 영단어들을 습관적으로 쓰는 이유가, 오에가 아프리카쪽 노동자들 사용해서 데이터 정리했는데 이로 인해 gpt가 아프리카 애들이 많이 사용하는 영단어들을 많이 쓰게 됐다고 함 - dc App

[익명(110.145)]

테페스트리 씀?

[익명(182.220)]

학습 데이터가 비슷해서 그런거.. 3.5와 4가 사용하는 단어들도 비슷함