그림이나 영상은 모르겠고 로컬llm은 똥임

[TS기원(tsgiwon)]

로컬 LLM이 필요한 사람은 이 둘이 끝임

1. AI연구자

2. 돈과 시간이 그냥 썩어 넘치고 장난감이 갖고 싶은 사람

그거 아니면 무조건 클라우드 LLM 쓰는 게 거의 항상 가성비도 편의성도 훨씬 좋은ㄷ

[썬컷5.4(here5502)]

어쩔수 없는 일이죠

[썬컷5.4(here5502)]

근데 집에 5090 달려있으면 큐웬 3.5 오푸스리즈닝 하나 달고 헤르메스나 오픈클로 물려서 24시간 돌리는건 나쁘지 않은듯? 4.5소네트정돈 나온다던데

[TS기원(tsgiwon)]

내가 64GB짜리 m1 max로 돌려봤는데 로컬 모델들 지능이 오케스트레이터를 못 함 단순 코딩은 되는데 툴도 잘못 쓰고 무한루프 도는 일도 있고 프롬프트 캐싱이나 KV캐시 고려한 설정도 스스로 짜야 하고

[썬컷5.4(here5502)]

@TS기원 메인 오케스트레이터로는 못쓰나...

[TS기원(tsgiwon)]

@썬컷5.4 타협해서 로컬모델 워커로 쓰고 오케스트레이터는 클라우드 쓰려고 했는데 생각해보니 이 지랄 하느니 처음부터 그냥 클라우드 모델 쓰는 게 모든 면에서 편해서 맥스튜디오 팔았음