[📪정보] 매우 간단하게 LLM 집컴으로 돌리는 방법 (LM Studio)

오늘 LM Studio 깔아봤는데 재미있는 것 같아서 간단하게 설명 글 써봄

먼저 프로그램 다운로드 링크

대부분 윈도우 쓸꺼니까 LM Studio for Windows 다운받으면 됨. exe 파일이며 설치는 불필요하고 누르면 바로 실행됨

프로그램 화면 안에서 Hugging Face에 연동되어 필요한 LLM 모델 검색해서 바로바로 다운로드 가능함.

일단 테스트용으로 용량이 1.5GB로 작은 구글의 [gemma-2b-it-GGUF] 모델이 좋은듯. 토큰 출력속도도 매우 빠름

GPU 없으면 알아서 CPU로 구동되니까 하드웨어 사양 걱정은 ㄴㄴ. 위의 모델 기준으로 여유 메모리 1.5GB만 있으면 됨.

원하는 모델 다운로드가 완료됐으면, 아래와 같이 화면에서 사용할 모델을 선택하면 됨

기본설정은 Plaintext인데, Markdown 형식으로 출력하게 바꿔야 텍스트 양식이 잘 반영되서 나오니 참고하고,

질문 던지면 아래와 같이 답변이 나옴. 모델 크기가 작아서 한글 문서는 학습안한듯 하니 영어로만 질문해야함.

일단 익숙해지고 나면 이런저런 모델 HuggingFace에서 다운로드 받아서 실험해보면 됨

Temperature 등 여러가지 parameter 조절도 가능하고, 모델별로 결과가 어떻게 다르게 나오는지도 확인 가능

LLM을 단순히 쓰는게 목적이라면 ChatGPT, Claude 3 같은 클라우드 서비스 사용하는게 낫지만,

좀 더 가공이 되지 않은 날것의모습?? 같은거 확인해보고 싶으면 위에서 설명한대로 LM Studio 써보면 재미있을 것 같음

Bitnet 1.58b랑 비슷하게 2Bit 양자화된 모델도 있으니 테스트 가능

(단, Training을 2bit로 한게 아니고 학습 후 2bit로 양자화 한거니 논문에서 주장하는 방식과는 차이가 있음)

개인적으로 봤을 때 이정도 용량으로 나름 괜찮은 수준의 답변을 하는 것 보면, LLM 연동된 게임속 NPC 구현도 충분히 가능할듯?

고사양 LLM에 비하면 능지는 딸리겠지만, 질문에 따라 유동적으로 답변을 해준다는 것으로도 일단은 충분하지 않을까?

그럼 20000

댓글 4