믹스트랄 8x7b ㅇㅇ
그래픽 카드는 이거 하나 해보려구 rtx 4090 샀음
중고가 새거가 차이가 거의 없어서 그냥 약간 특가인 283만원에 샀다.
gpu 메모리가 24gb밖에 안되니까 일반 메모리 메모리 자원도 쓴다고 하더라
(이거도 존나 혁명이래 가능해진지 한달도 안된거임
이거 땜에 100gb h100같은 6천만원짜리 전용 ai카드 안쓰고 4090으로도 되는거임)
실제로도 그래픽카드 메모리 꽉 채우고 컴퓨터 메모리도 60gb정도 가져다 쓰네
메모리도 그래서 업글함 DDR5 64gb x 2로 바꿨음 대충 57만원
속도는 gpt4보다 약간 느리긴 한데
충분히 쓸만하네 잘 모르지만 답변 품질 충분히 gpt3.5되는듯 하다.
한글은 아예 안되는 수준이고
영어만 된다고 봐야함.
챗을 deepl번역기로 복붙으로 쓰는중임
감동적이다 진짜.
디스토피아 미래를 약간 피한 기분 든다.
성능은 gpt 3.5 수준이라지만 공짜 바드도 있고 gpt3.5도 있고 그렇긴 한데... 느리고 비싼데도 쓰는 이유는 검열이랑 크라우드 너무 좆같아서 도저히 나는 인정도 못하고 납득도 못하겠음 ㅇㅇ
오픈소스가 발전해야지 검열 ㄹㅇ 좆같긴함 - dc App
돈 많노 ㄷ 충분히 가치있다고 봄 몇달만 지나도 진짜 개쩌는 오픈소스 챗봇들 터질텐데 개꿀이지
ㅇㅇ 나는 진짜 솔직히 국가 검열 개극혐 해서 코로나 백신 도 거부하고 안맞았음. 오픈ai가 선하던 말던 상관없이 권력질 하는거 너무 개극혐이라서 난 계속 로컬위주로 고집할거 같음
3.5는 빠릿빠릿하게 답변도 하고 제한도 없는거보면 적은 컴퓨팅자원으로도 돌리는듯 ㅇㅇ
어우 난 그냥 gpt api받아서 써야겠다 그래픽값 ㅎㄷㄷ하네
아니 검열이나 통제 x같아서 로컬 쓰는건데 그럼 의미가...?
로컬 AI = 세상의 어느 누가 발작을 하고 개수작을 시도해도 절대 방해할 수 없는 내 컴퓨터 안의 작은 세계 꼭 쓸만한 수준으로 발전되길..
내년쯤 되면 gpt4급을 그정도 컴퓨터에서 돌리는거 가능하려나?
근데 그거해서 뭐하냐
검열이고 크라우드인 권력자들에 손에서 조금이나마 벗어날수 있음 ㅇㅇ
4090 가격 엄청 올랐네 작년 5월에 220 줬는데
라고 하기엔 deepl 이용약관에 모든 번역 내용을 수집하여 서비스 개선에 사용한다고 적혀있는데 ㅋㅋ 그래서 개인정보 입력하지 말라고 경고까지 있는데 네이버도 번역 개선을 위해 데이터 수집할거고 구글은 마이크 도청까지 하는 애들인데 안할 이유가 없고
나도 돈 있으면 업글해서 로컬로 돌리고 싶어 - dc App
근데 이렇게 하면 매번 컴터 업글 해줘야 되는거아님??? 오픈소스로 몇달 단위로 좋은 ai나올건데