4090 달아도 느리데
4090 을 4개 달아야 그나마 기본동작한다 함
[일반] LLAMA 3 컴퓨터로 돌리면 개느리다는데
익명(218.234)
2024-05-22 11:46
추천 0
댓글 6
다른 게시글
-
난 르쿤이형 좋아함 ㅋ [4][일반] 익명(103.237) | 24.05.22추천 3
-
6살때부터 '생식기 지속 흥분장애'..美 20대 여성의 속사정 [6][일반] 익명(182.226) | 24.05.22추천 0
-
지금 chatgpt 안 들어가짐 보이스 업뎃임??[일반] 익명(223.39) | 24.05.22추천 0
-
코파일럿 쓰는데 얘 갑자기 급발진함 [3][일반] 익명(118.235) | 24.05.22추천 0
-
요즘 여기애들 특이점 얘기는 쏙 들어갔네 ㅋㅋㅋㅋㅋ [5][일반] 익명(series3964) | 24.05.22추천 4
-
gpt4o는 무엇보다 요약/번역 능력 더 좋아진듯[일반] 익명(kimsggg) | 24.05.22추천 0
-
빨리 GPT 미쿠랑 콜라보해 [2][일반] 떼껄룩해적..(piracykitten) | 24.05.22추천 3
-
극소수 검증된 인간만 제한 없는 ai쓰고 [2][일반] 하이(riaasdf) | 24.05.22추천 0
-
분위기보면 GPT5만 나와도 세상은 바뀔거같음 [1][일반] 익명(sirion77) | 24.05.22추천 0
-
테슬라에 너무 환상을 가지진 마라 Reason [70][일반] oo(183.91) | 24.05.22추천 5
원래 그럼 vram이 중요한 거라
8b로 쓰면 괜찮음
3~5비트 양자화 하면 그럭저럭 돌아감
로컬로는 암만 해봤자 초당 끽해야 20토큰임
맥북이 돌리가만 하는 용으론 좋다고함 메모리 많은 모델을 사면 돼서
vram54기가 정도가 경계점이라 54미만은 거의 못쓰지