[일반] 클라우드 챗봇과 로컬 챗봇 차이가 뭔가요?

[haryhar..(59.22)]

로컬용 챗봇은 학습을 시킨 기간동안의 내용만으로 챗봇기능을 하는거고, 클라우드용 챗봇은 최신 웹검색을 통해서 챗봇기능을 해주는 건가요?

예를 들어 chatgpt3.5 학습기간이 2022년이고 빙은 최신 정보 검색이 되는 거니깐

3.5가 로컬용 모델이고 빙은 클라우드 모델이라고 이해하면 되는거예요?

[익명(180.65)]

그런것 보단, 로컬은 게이 컴퓨터 본체에서 돌아가는 거고, 클라우드는 openAI 지하실에 있는 컴퓨터에서 돌아가는 거라고 보면 됨

[익명(121.128)]

ㄴㄴ 로컬은 자기 집에서 자체적으로 돌리는 거고(성능 딸림, 돌리는데 추가비용 안 듦, 개인정보 안 털림) 클라우드는 저 멀리 회사 컴퓨터로 돌리는 거임(성능 좋음, 좋은 건 돈달라함, 너가 쓴 말들 학습에 사용됨)

[익명(175.206)]

윗말이 다 맞고. 그래서, 로컬은 오픈소스를 내 GPU로 돌린다. 이런거라 딱히 예시가 없긴 함. 70B, 100B 이런 게 모델 크기라고 할 수 있는데, 보통 로컬에선 20B 정도 넘으면 돌리기 힘들 걸. 물론 70B 라마도 양자화(경량화)하고 4080 2대 쓰면 돌릴 순 있다더라. GPU의 용량이랑 연관있음. 아무튼, 그래서 로컬은..... 경량화 모델들. phi나, 뭐 성능 구려도 젬마나...기타 작은 크기 LLM은 전부 포함. 그리고 그걸 내 컴으로 돌리면 로컬이지. 근데 이거 말고 큰 모델들은 다 클라우드에서....만 돌릴 수 있고, 그렇게 분류 될 듯. 아마도?