[📪정보] GPT 3.5의 파라미터수는 1750억개가 아니라 200억개다?

[익명(220.79)]

https://youtu.be/s1N8hG2OZ2I

Microsoft Research에서 Archive 논문으로 지난 10월 25일 투고한 논문에서는 각종 LLM 모델로 생성한 Code 작성 시,

순차적으로 생성되는 한계를 개선한 CodeFusion을 발표한 것인데요.

성능 비교에서 이 CodeFusion은 대부분의 LLM을 압도하는데,

여기서 나타난 GPT 3.5의 파라미터 수가 20B, 그러니까 200억개 밖에 되지 않는다고 밝혀져서 AI 연구자와 개발자들 사이에서 이슈입니다.

LLM 모델에서의 파라미터 수와 성능의 상관관계는 무엇인지,

Mistral 7B와 LLaMa 모델과의 비교와 더불어 향후 LLM 경쟁에서 지켜봐야할 것들을 살펴봅니다.