[일반] 큰맘먹고 3090일단 샀거든? 로컬 llm 잘 아는사람?

[고헤미안(gh4444)]

진짜 잘 모르는데 크라우드에 끝도 없는 거부감이 있거든 
근데 어쩔수 없어서 gpt4는 돈내고 쓰는데 성능 떨어진거도 너무 화나서...

근데 돈은 없어서 3090 중고로 90만원에 일단 사서 오늘 택배 왔음

이제 뭐해야함?

진짜 모름

내 3090으로 자유롭게 무검열 ai 최대한 똑똑한거 막 돌려보고 싶은데...

이런거 한국말로 친절하게 정리된것이나 어디있을까? 

3090산 이유는 4090이 너무 비싸서인데 메모리 용량은 24기가로 같다니깐... 제발 ㅠㅠ 정보랑 조언 좀...

[익명(ek4li3ixxkv2)]

그쪽은 전문가의 영역이라 발품팔아서 찾아보는수밖에없음. ai로컬채널인가 거기가보셈

[괌하니(dhan94)]

옆동네 로컬챈도 라마갖고 놀다가 이제 그냥 gpt4 터보 쓰는거 같던데

[영진도서(c4i159sq)]

3090수준이면 라마1 가장 작은버전 돌릴 수 있음 파이썬 아나콘다 깔고 transformer 라이브러리 환경 구성한 다음에 허깅페이스에서 모델 받아오셈

[영진도서(c4i159sq)]

24g면한단계 위 모델도 가능할듯

[고헤미안(gh4444)]

그 가장 최신 7bx8 이런거 3.5터보랑 동급이라며? 근데 진짜 모름

[영진도서(c4i159sq)]

3090수준으로 7b 풀파라미터로 돌릴 수 있나? 힘들껄

[영진도서(c4i159sq)]

vram 24g 면 가능할 것도 같네 근데 속도는 처참할듯

[타비타비(dmaple0726)]

3090중고가 90밖에안하는구나

[익명(175.206)]

................근데 GPT4가 아무리 구려져도, 현재 시중에 풀린 오픈소스 그 어떤 모델보다 좋음........ 지금 오픈소스 애들은 GPT3.5랑 비슷하냐 마냐 하고 있을 걸. 점수만 높고 성능은 아직 3.5 아니라는 말도 있고 뭐... 오픈소스 올라온 거 쓰기 편하게 하려는 게 몇 있다곤 알고 있는데 안 써봄. ollama도 괜찮다곤 하고, 뭐 더 있던 거 같은데 까먹음. 물론 올해 내로 GPT4 넘는 오픈소스가 나온다 아니다 말은 많은 것 같긴한데, 미리 써보는 거 뭐 나쁘진 않지. 근데 지금 당장은 실망할 겨.

[익명(lmbrevn7d667)]

아카 AI챈 가서 묻는게 빠름 - dc App

[익명(121.176)]

성능만 따지면 그돈으로 openai api 사서 쓰는게 더 만족스러울것 같은데… 그냥 갖고노는 목적이면 몰루 - dc App

[고헤미안(gh4444)]

ㅠㅠ 사버렸엉...

[익명(119.192)]

뭐... 최소한 게임이라도 할 수 있잖아?