[🐣질문] 혹시 AI 로컬에 세팅해서 쓰는 사람 있음?

[익명(175.197)]

https://www.youtube.com/watch?v=su2qmgY7-YI

왜

클로드 코드 맥스 쓰기엔 너무 부담되고 이런 거 보니까 컴터 하나 사서 로컬에 클로드 코드 세팅할까 하는데
실제로 이렇게 쓰는 사람 있나 해서 물어봄

[불타는키보드(1bnmaker)]

유투브 내용 : 앤스로픽이 클로드 코드를 무료처럼 사용할 수 있도록 개방했지만, 개방한 것은 클로드 AI모델 자체의 무료화가 아니라, 클로드 코드를 다른 AI 모델과 연동하여 사용할 수 있는 길을 열어준 것이다. 앤스로픽은 오픈소스 모델의 성능 향상과 사용자들의 비용 절감 노력에 대응하기 위해, 모델이 아닌 인터페이스와 MCP 프로토콜을 장악하여 자사 생태계 내에 사용자들을 유지하려는 전략을 사용하고 있다. 개인 AI 컴퓨터 시대가 도래함에 따라, 앤스로픽은 자사 도구를 업계 표준으로 만들고 생태계 주도권을 확보하기 위해 타사 모델 수용 및 커스텀 플러그인 개방을 통해 적극적으로 대응하고 있다.

[익명(175.197)]

그 얘기하는거 맞음
인터페이스에 돈내는게 아니라, 모델에 돈내는거니까 우린.
얘만 그런게 아니라 이미 커서나 그런애들도 그런식으로 돌아가고 있어.
https://www.reddit.com/r/LocalLLaMA/comments/1qm2q0c/claude_code_but_locally/
https://www.reddit.com/r/ClaudeCode/comments/1qhj13v/has_anyone_tried_claude_code_with_local_model/

[Indie 1(221.152)]

그거아님

[익명(115.138)]

컴퓨터 얼마 정도로 구매하려고 로컬 LLM 고려 중인거임?

[익명(175.197)]

맥미니4프로 정도

[익명(115.138)]

맥스 고려하는 수준이면 원하는 성능 안나올 것

[익명(175.197)]

@ㅇㅇ(115.138) 사실 성능보단 20달러짜리 토큰 제한이 빡치는거라... 세팅해서 쓰고 있는 중?

[익명(115.138)]

ㄴㄴ 비슷하게 생각해서 데스크탑 5070ti, M4 PRO 깡통(램 24)에 각각 로컬로 설치해서 가지고 놀아봤는데 이 정도 사양으로는 그냥 간단하게 텍스트 번역하거나 영상에서 자막 추출하고 이런 수준으로만 쓸 수 있더라. LLM 모델 경량화 더 기다려야 할 듯 ㅠ

[익명(175.197)]

@ㅇㅇ(115.138) 아이고 나도 그럴거 같아서 여기 올린거긴 해 아쉽구만 아직은 때가 아니다

[211214(tomatoss)]

고오급 글카가 있어야하지 싶은데

[Indie 2(125.141)]

서버가 너무 압도적으로 발전해서 로컬은 이제 가성비가 좀 안나옴 앞으로 더 벌어질거고

[트롤협회(select9250)]

너가 원하는 정도로 되려면 최소 100B 이상급이 되야 그나마 결과가 70% 만족할 정도로 나올텐데 그래픽카드 값만 1000만원이 넘음 - dc App

[Indie 3(180.230)]

기존 AI들의 성능이 좋아지고 비용이 떨어지는거에 비해 컴퓨터부품값은 오르고 로컬AI성능은 아직 떨어지는편이라 비용을 감안해도 로컬AI를 쓰기엔 별로인듯

[Indie 4(61.34)]

상용 LLM에 근접하는 수준을 기대한다면, 최소 블랙웰은 사야할거고 그리고 모델 자체의 성능도 최신 LLM 발끝에도 못미침 API 돈내고 쓰는게 훨씬 싸다고 결론 난 내용.

[Indie 5(222.109)]

근데 계산해보면 상용 AI 쓰는게 훨씬 저렴한것같아 오픈소스 모델중에 DeepSeek 같은 경우는 풀 정밀도로 돌리려면 테라바이트 단위의 VRAM이 필요한데 양자화를 극단적으로해서 돌린다고해도 5090 같은 그래픽 카드에서 tps 3 정도 나오려나?