[일반] 라마70B 용량이 150기가라는데

[익명(1.236)]

GPT4가 파라미터 1조5000억개라치면 3테라 약간넘는건데
이건 LLM모델 자체의 용량일거고
얘가 갖고있고 접근가능한 지식과 정보데이터의 용량은 어느정도일까

[익명(110.145)]

파라메터갯수로 파일사이즈 알수 없음

[익명(1.236)]

어쨌튼 데이터센터급 스토리지는 갖고있어야지 쓸만한 LLM 돌릴 수 있는거겠지?

[익명(1.236)]

그럼 라마는 로컬에서 범용챗봇으로 쓰기힘드네

[익명(110.145)]

라마도 양자화 하면 로컬에서 돌아가

[익명(1.236)]

그럼 성능이 문제가아니라 아는 지식이 없을거아님...

[익명(110.145)]

6비트 정도까지는 거의 능지 안떨어지고 2.5비트 정도도 꽤 쓸만함

[익명(1.236)]

아니 지능이 아니가 갖고있는 정보에 대해 궁굼한거였는데 로컬PC에서 돌릴수있는 수준에 용량으로 인터넷상의 거의모든 지식을 저장가능하다고??ㄷ

[퐁칸8(zxvw157)]

지금 GPT4도 최근 정보를 저장했다기보단 웹서핑으로 찾아주는 타입아님? 일반적인 상식이나 지식에 대해서는 모델 가중치에서 바로 꺼내올 수 있는거고 - dc App