[일반] 내 컴퓨터에서 llm 뭐 추천해? (뉴비)

[익명(220.117)]

로컬로 ai 돌리는 거 하고 싶어 내 개인정보 싹 다 넣고 과거 애인과 카톡 등 이것저것 전부 넣고 대화해보고 싶어

근데 뉴비라 잘 모르겠어

내 컴퓨터: 라이젠 5600x, RTX 3070, 램 16기가

내 맥북: 맥북 프로 m1 pro 램 32기가

현시점, 각각 어떤 llm 돌리는게 가장 적절해?

[muviing(bend0995)]

저는 잘 모루는 사실 몇주 커스텀 AI 만져보덜 않았긴 했는데, 보고 듣고 느끼기엔 대부분 LLM이 그냥은 엄청 VRAM(GPU의 램) 먹고, 3070이면 충분히 돌릴수는 있는데 양자화라구 최적화 많이 된 녀석 써야되는데 그런다 할지라도 R1 같은 것도 로컬로 돌리긴 조건이 꽤 빡세다더군용. Nvidia가 최근 로컬용 비교적 소규모 AI칩 따로 만들던데, 그것도 비싼건 마찬가지라 한동안 좀 더 경량화 되길 기다려야할듯.

[ㅇㅇ 1(211.215)]

한국어 로컬은 젬마3 쓰셈