[일반] 지금 맥미니 사는 사람들은 로컬llm으로 사용하려는거임?

[oblivio..(eotjsdhkd)]

지금 사용중인 m4 pro 14코어 64gb 맥미니에서

oss 20b 단독으로 몰트봇에 사용하는건 실 속도 측면에서 불편함... 테스트 삼아 mistral 14b 모델로 몰트봇에서 사용해보니 속도는 확 체감되게 빨라지긴 함 10초 안짝으로 대답을 받음

몰트봇이 프롬프트량 자체가 많아서 로컬 모델에서 실사용하려면 프롬프트 경량화가 필요할거 같음...

 

[ㅇㅇ 1(115.137)]

애초에 대역폭이 좁아가지고 입력도 존나오래걸리는게 큼

[oblivions(eotjsdhkd)]

m4pro 대역폭도 저런데 그냥 m4는 몰트못용은 api로만 해야 정신건강에 이로울듯

[청나라상인(floor8142)]

미스트랄 안써봤는데 좋음?

[oblivions(eotjsdhkd)]

별로임 b 사이즈 별로 속도체감해보려고 다운받아본거....만약 몰트봇을 실사용한다면 젬마 모델로 할거 같음

[だいき(image8481)]

다 로컬쓰려고 사는거같긴해

[익명(terribly2193)]

곧 m5나올텐데ㅋㅋ

[oblivions(eotjsdhkd)]

나는 m4pro 맥미니 출시때 사서 llm서버로 돌리던중이라 뭐 상관없긴함 원래 llm+웹서버 로 개인용 챗봇으로 쓰는중이라