[일반] 자기 PC로 LLM 구동해보기: LM Studio

[덕수옹(deogsuong)]

https://lmstudio.ai/

lamma.cpp 런타임 기반 LLM들 딸깍 한 번으로 다운로드하고 실행시킬 수 있는 프로그램임

ollama랑 비슷한거라고 보면 됨

대강 4090이면 32B 급 LLM 까진 무리없이 돌릴 수 있음

[ㅇㅇ 1(125.128)]

14b 비램16기가 32b q4 24기가 70b q4 48기가

[덕수옹(deogsuong)]

굳

[갸륵(ayeshaa)]

개념추

[ㅇㅇ 2(128.134)]

4080 super 이거는 ?? 어디까지 돌리기 가능해 ?

[덕수옹(deogsuong)]

윗대에 나와있는데로 4080super VRAM이 16기가니까 14b까진 괜찮을거임. 아니면 저 프로그램에서 모델 돌릴 수 있는 사양인지 알려주니까 보면서 해도 될거임

[콜라조무사(tkatjdrhdghkrnr123)]

lm스튜가 확실히 편하긴해ㅋㅋ 올라마는 cors 해결하는데 머리아팠음 ㅅㅂ

[ㅇㅇ 2(128.134)]

로컬 llm 의 장점은 뭐야?

[덕수옹(deogsuong)]

전기세만 내고 공짜

[ㅇㅇ 2(128.134)]

로컬 llm 에서만 특화로 할 수 있는 작업들은 어떤게있어? 일반 llm 에서는 안되거나 어렵지만 로컬에서만 할수있는거

[ㅇㅇ 3(211.186)]

검열이 없다는게 장점이 아닐까

[ㅇㅇ 4(221.147)]

prompt injection으로 제미니 api처럼 실시간 검열하는 거 아니면 검열 다 뚫림

[ㅇㅇ 4(221.147)]

토큰 생성 단계에서 우회할 수도 있다는데 나는 안써봄

[냥쓰(kalstein)]

토큰생성속도는 vllm이 한 20프로정돈 빠른듯해요. lm studio는 간편하게 쓰기좋습니다. - dc App

[Bezelshages(longsword0716)]

준비물: 4090

[덕수옹(deogsuong)]

llama 7b는 3060으로도 돌아감 ㅎㅎ

[Bezelshages(longsword0716)]

솔직히 14b 이하는 다 장난감이라고 생각해요...

[냥쓰(kalstein)]

32b라고 해도... 무료로 제공되고있는 상용ai들에 비하면 장난감이긴하죠 ㅎㅎ 뭐 엄청나게 많은 호출이 필요하다면 나름 장점은 있긴합니다만...