[일반] 여기 로컬 모델 돌리는 사람있냐

[123(211.60)]

4080 노트북 쓰는데  로컬로 14B모델  돌리는데  RAG 나 추론 할때마다  답이 30초 ~ 1분이상 걸릴때가있는데

이번에 M4 MAX 램128G 짜리사면  30B 이상 가는 모델도  추론은 빠릿하게 가능하겠지?

학습용도는아니야 학습은 서버에 시켜야지 뭔 컴터로 돌려

[익명(59.15)]

ai로컬 챈으로 - dc App

[익명(59.15)]

가서 검색해봐 - dc App

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[123(211.60)]

어쨋든 70B 일반적추론이면 빠릿하게 가능하다는건데 토큰에따라 어쩔수없이 느려질가능성도 많다는거군요 그럼 살이유가없네요 ㅠㅠ

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

70b돼 가능